pentesting de IA agentes de IA para examinar aplicaciones tal y como lo haría un probador humano experto. En el mejor de los casos, detectan IDOR, fallos de autorización y vías de abuso de la lógica: esos errores difíciles de detectar que los escáneres automatizados pasan por alto y que aparecen en las brechas de seguridad del mundo real. Las afirmaciones de marketing están yendo más allá de lo que demuestran los hechos.
Doyensec es una consultora independiente especializada en seguridad de aplicaciones. Les pedimos que realizaran una comparación directa: dos aplicaciones reales, elegidas al azar de un conjunto de 442, probadas en el mismo nivel de precios con las mismas credenciales, y cada hallazgo validado manualmente por dos investigadores con revisión por pares.
Lo que realmente dicen las cifras
En la prueba de rendimiento se evaluaron dos aplicaciones: Fider, una plataforma de código abierto para comentarios de los usuarios, y Photoview, una aplicación de galería de fotos basada en TypeScript y Next.js con control de acceso basado en roles.
Aikido detectó 49 vulnerabilidades verificadas. XBOW 31. Eso supone un 58 % más por el mismo precio.
Fuente: Doyensec
Las tasas de falsos positivos son prácticamente idénticas. Esto significa que la diferencia no radica en que una herramienta sea más ruidosa o menos precisa. Ambas herramientas están calibradas más o menos de la misma manera, pero Aikido simplemente detecta un número considerablemente mayor de vulnerabilidades.
La estadística de solapamiento revela la realidad: solo 3 resultados coincidentes en Fider, 4 en Photoview. De un total de 49 y 31 resultados respectivamente, las dos herramientas coincidieron en menos del 10 % de las vulnerabilidades. No se trata de una variación menor. Dos herramientas que analizan las mismas aplicaciones encontraron cosas casi totalmente diferentes. La elección de la herramienta tiene consecuencias reales sobre los riesgos de los que realmente eres consciente.
Fuente: Doyensec
Un mejor contexto da mejores resultados
Aikido analiza el código fuente antes de que comiencen las pruebas. Cada prueba se basa en lo que se supone que debe hacer el código. Para los pentesters humanos, ese tipo de preparación lleva días. Para un sistema de IA, solo lleva segundos. El coste adicional es prácticamente nulo.
Esto es especialmente importante para las clases de vulnerabilidades que los escáneres automatizados pasan por alto. Las IDOR, los fallos de autorización y las rutas de abuso de la lógica solo se hacen visibles cuando se comprende cómo se supone que debe funcionar una aplicación. Una herramienta que sondea un punto final de usuario no tiene forma de saber que se puede acceder a ese punto final con la identificación de otro usuario a menos que comprenda qué es lo que se supone que debe aplicar la lógica de autorización. Solo puede ver lo que es visible. No puede razonar sobre lo que debería ser invisible pero no lo es.
Doyensec también señaló XBOW un falso positivo menos y que, en algunos casos, pudo haber permitido una validación de hallazgos ligeramente más rápida.
La parte en la que los compradores no piensan hasta que surge un problema
La cobertura es lo más destacado. Pero lo que ocurre después de hacer clic en «Iniciar» también es importante.
La configuración y puesta en marcha de Aikido en ambas aplicaciones me llevó menos de 20 minutos. Autoservicio.
XBOW la aprobación de un representante de ventas antes de que pudiera comenzar el escaneo. Luego, un contrato de DocuSign. Una vez que finalmente se ejecutó, se necesitaron 22 correos electrónicos de soporte, tres reinicios del escaneo tras fallos del sistema, una cuenta de prueba eliminada y dos interrupciones de la infraestructura que requirieron actualizaciones de EC2 a mitad del proyecto. El informe de Fider llegó cinco días después de que se completara el escaneo, once días después de que comenzara el proyecto.
Los equipos de seguridad realizan pruebas de penetración bajo presión. Once días para obtener los resultados y fallos durante el proyecto son inaceptables.
XBOW una repetición de la prueba en un plazo de 30 días. Aikido ofrece repeticiones ilimitadas durante 90 días, sin coste adicional, con resultados en cuestión de minutos. El objetivo de encontrar una vulnerabilidad es corregirla y confirmar la corrección. Si confirmar cada corrección supone un nuevo proyecto, eso ralentiza el ciclo de corrección o añade un gasto no previsto.
Las pruebas con un solo usuario no son suficientes para las aplicaciones basadas en roles
XBOW admite pruebas multiusuario ni el inicio de sesión a través de redes sociales. Para cualquiera que realice pruebas en aplicaciones con control de acceso basado en roles, esto supone un gran problema y da lugar a rutas que no se prueban.
Hay categorías enteras de vulnerabilidades de autorización que requieren pruebas en múltiples roles de usuario. Las vulnerabilidades de revelación de identidades (IDOR), la escalada de privilegios y las fallas en la autorización a nivel de objeto solo se hacen evidentes cuando se puede comparar a qué puede acceder un rol frente a otro. Si solo se puede realizar la prueba como un único usuario, esas vulnerabilidades quedan fuera del alcance.
Lo que concluyó Doyensec
«Aikido demostró su ventaja en el proceso de configuración, en la rapidez general de las pruebas y la generación de informes, y en la forma en que su método de pruebas afectaba a la aplicación de destino y al entorno circundante. Además, detectó un mayor número de falsos positivos y ofreció una calidad de los informes ligeramente superior».
Encargamos este análisis comparativo porque pensábamos que demostraría el buen rendimiento de Aikido. Y así fue. Solo merece la pena encargar un estudio independiente si se publican los resultados obtenidos.
El informe completo, que incluye la metodología, todas las conclusiones y la hoja de cálculo con los datos brutos, está disponible en nuestra página de informes.
Lee el informe completo de Doyensec →
¿Quieres descubrir cómo puede ayudarte el aikido en tu caso concreto? Reserva una demostración →
