El pentesting de IA utiliza agentes de IA para sondear aplicaciones de la misma manera que lo haría un probador humano experto. En su mejor versión, detecta IDORs, fallos de autorización y rutas de abuso lógico: los errores esquivos que los escáneres automatizados pasan por alto y que aparecen en las brechas de seguridad del mundo real. Las afirmaciones de marketing superan a la evidencia.
Doyensec es una consultora independiente de seguridad de aplicaciones. Les pedimos que realizaran una comparación directa: dos aplicaciones reales, seleccionadas al azar de un grupo de 442, probadas en el mismo nivel de precio con las mismas credenciales, y cada hallazgo validado manualmente por dos investigadores con revisión por pares.
Lo que realmente dicen los números
El benchmark probó dos aplicaciones: Fider, una plataforma de feedback de usuarios de código abierto, y Photoview, una aplicación de galería de fotos TypeScript/Next.js con control de acceso basado en roles.
Aikido detectó 49 vulnerabilidades verificadas. Xbow encontró 31. Eso es un 58% más al mismo precio.
Fuente: Doyensec
Las tasas de falsos positivos son casi idénticas. Esto significa que la diferencia no se debe a que una herramienta sea más ruidosa o menos precisa. Ambas herramientas están calibradas de forma similar, pero Aikido simplemente encuentra sustancialmente más vulnerabilidades.
La estadística de superposición cuenta la verdadera historia: solo 3 hallazgos coincidentes en Fider, 4 en Photoview. De 49 y 31 hallazgos respectivamente, las dos herramientas coincidieron en menos del 10% de las vulnerabilidades. Eso no es una variación menor. Dos herramientas que examinaron las mismas aplicaciones encontraron cosas casi completamente diferentes. La elección de la herramienta tiene consecuencias reales sobre el riesgo del que realmente se es consciente.
Fuente: Doyensec
Un mejor contexto produce mejores resultados
Aikido ingiere la base de código antes de que comience la prueba. Cada prueba se basa en lo que se supone que debe hacer el código. Para los pentesters humanos, ese tipo de preparación lleva días. Para un sistema de IA, lleva segundos. El coste añadido es prácticamente cero.
Esto es lo más importante para las clases de vulnerabilidades que los escáneres automatizados pasan por alto. Los IDORs, los fallos de autorización y las rutas de abuso lógico solo se hacen visibles cuando se entiende cómo se supone que debe funcionar una aplicación. Una herramienta que sondea un endpoint de usuario no tiene forma de saber que se puede acceder a ese endpoint con el ID de un usuario diferente a menos que entienda lo que se supone que debe aplicar la lógica de autorización. Solo puede ver lo que es visible. No puede razonar sobre lo que debería ser invisible pero no lo es.
Doyensec también señaló que Xbow tuvo un falso positivo menos y pudo haber permitido una validación de hallazgos ligeramente más rápida en algunos casos.
La parte en la que los compradores no piensan hasta que se convierte en un problema
La cobertura es lo principal. Lo que ocurre después de hacer clic en iniciar también importa.
Configurar y ejecutar Aikido en ambas aplicaciones llevó menos de 20 minutos. Autoservicio.
XBOW requirió la aprobación de un representante de ventas antes de que pudiera comenzar el escaneo. Luego, un contrato de DocuSign. Una vez que finalmente se ejecutó, se necesitaron 22 correos electrónicos de soporte, tres reinicios de escaneo después de fallos, una cuenta de prueba eliminada, dos interrupciones de infraestructura que requirieron actualizaciones de EC2 a mitad del proceso. El informe Fider llegó cinco días después de que se completara el escaneo, once días después de que comenzara el compromiso.
Los equipos de seguridad realizan pentests bajo presión. Once días para obtener resultados y fallos a mitad del proceso no son aceptables.
XBOW incluye una nueva prueba en 30 días. Aikido ofrece nuevas pruebas ilimitadas durante 90 días, sin coste adicional, con resultados en minutos. El objetivo de encontrar una vulnerabilidad es corregirla y confirmar la solución. Si confirmar cada corrección implica un nuevo compromiso, esto ralentiza el ciclo de remediación o añade un presupuesto no planificado.
Las pruebas de un solo usuario no son suficientes para aplicaciones basadas en roles
XBOW no soporta pruebas multiusuario ni inicio de sesión social. Para cualquiera que pruebe aplicaciones con control de acceso basado en roles, esto es un gran problema y crea rutas no probadas.
Categorías enteras de vulnerabilidades de autorización requieren pruebas en múltiples roles de usuario. IDORs, escalada de privilegios y autorización a nivel de objeto rota solo se hacen visibles cuando se puede probar lo que un rol puede acceder frente a otro. Si solo se puede probar como un usuario, esas vulnerabilidades no están dentro del alcance.
Lo que Doyensec concluyó
"Aikido mostró una ventaja en el proceso de configuración, la velocidad general de las pruebas y los informes, y en cómo su enfoque de pruebas afectó a la aplicación objetivo y al entorno circundante. También identificó un mayor número de verdaderos positivos y ofreció una calidad de informes algo superior."
Encargamos este benchmark porque pensamos que mostraría un buen rendimiento de Aikido. Y así fue. La investigación independiente solo merece la pena encargarla si se publican los resultados.
El informe completo, con la metodología, todos los hallazgos y la hoja de cálculo de datos brutos, está disponible en nuestra página de informes.
Leer el informe completo de Doyensec →
¿Quiere ver lo que Aikido encuentra en su propia aplicación? Reserve una demo →
