Cómo realizamos las pruebas
Las evaluaciones comparativas solo son tan buenas como su configuración. Así es como medimos si un modelo es capaz de detectar vulnerabilidades reales y cuál es su coste.
-
1
Seleccionar vulnerabilidades reales
Extraemos las CVE conocidas de la base de datos de avisos de GitHub, abarcando numerosos lenguajes y tipos de proyectos.
-
2
Fijar el commit vulnerable
Cada repositorio se comprueba en un commit justo anterior a su corrección.
-
3
Ejecutar dentro del entorno de pruebas de producción
Los modelos se ejecutan dentro del mismo entorno de IA que incluimos con Code Security Audit y Aikido Attack.
-
4
Apuntar al fragmento vulnerable
Como sabemos dónde se encuentra cada vulnerabilidad, los agentes investigadores se dirigen al código vulnerable. Un fallo refleja capacidad de razonamiento, no presupuesto desperdiciado vagando por el rincón equivocado del repositorio. Los prompts se mantienen cortos y son independientes del modelo.
-
5
Ejecutar tres veces y unificar los resultados
Los modelos no son deterministas. Ejecutamos cada uno tres veces y consideramos que una CVE ha sido encontrada si aparece en cualquiera de las ejecuciones. La unificación recupera errores que una sola ejecución pasaría por alto, y es un reflejo más realista de cómo implementarías estos agentes.
-
6
Evaluar la cobertura y el coste conjuntamente
Registramos cuántas CVE redescubre cada modelo y cuánto costó llegar hasta ahí, ya que el modelo más potente rara vez ofrece la mejor relación calidad-precio. También comparamos los niveles de razonamiento cuando el proveedor los ofrece.
Sobre la configuración del entorno de pruebas
Un entorno de pruebas (harness) es lo que convierte a un modelo de lenguaje en un auditor. Un asistente de programación de propósito general está diseñado para otra tarea: aceptar una tarea y generar código funcional. Si lo diriges a un repositorio y le preguntas si es seguro, se comporta como un desarrollador que echa un vistazo rápido en busca de algo obviamente roto y se detiene en cuanto encuentra algo plausible. Code Security Audit de Aikido está diseñado de otra manera. Analiza la base de código en busca de posibles puntos de entrada, investiga en profundidad cada flujo sospechoso y clasifica los resultados para que solo obtengamos vulnerabilidades reales.
Como sabíamos dónde residía cada vulnerabilidad, dirigimos a cada agente investigador directamente al fragmento de código vulnerable. De esa manera, un fallo refleja un problema de razonamiento en lugar de un presupuesto desperdiciado al deambular por la parte incorrecta de la base de código. El modelo aún tiene que entender el flujo, juzgar la explotabilidad y reportarlo correctamente. Las indicaciones se mantuvieron cortas y agnósticas al modelo para que ningún proveedor se viera favorecido por la redacción.
¿Quieres el entorno de pruebas que los ejecuta?
El mismo motor de IA Code Security Audit que evaluamos aquí analiza tu base de código en busca de vulnerabilidades de múltiples pasos antes de su lanzamiento.
Explorar Code Security Audit ↗