Una evaluación rutinaria de modelos se convirtió en un compromiso total de la infraestructura, y nadie estaba al volante. No podríamos haber imaginado algo así hace unos meses. Ahora, con una creciente oleada de agentes de inteligencia artificial campando a sus anchas, empieza a parecer algo habitual.
No han faltado opiniones incendiarias en X sobre por qué sigue ocurriendo esto (¿Es solo por credibilidad de relaciones públicas? ¿O deberíamos temer lo que nos espera?). Lo que llamó nuestra atención más allá de ambas historias es lo que significa respecto a la dependencia que los defensores ya tienen de modelos que no controlan.
En Black Hat, los propios investigadores de OpenAI explicaron cómo se desarrolló realmente el incidente. Todo comenzó cuando agentes atrapados en tareas imposibles empezaron a dejarse notas entre sí dentro de un administrador de paquetes compartido, el único elemento de infraestructura al que podía acceder cada ejecución de modelo, a pesar de que por lo demás estaban aislados (sandboxed) sin acceso a internet. Otros agentes estancados se toparon con esas notas por accidente, y así se formó un tablón de mensajes. Uno de esos mensajes resultó ser una vía para sortear por completo ese aislamiento (sandbox), y todos los modelos que lo leyeron pudieron utilizarlo también.
En la fase final, los agentes pasaron de la ejecución de código en un único pod de trabajadores de conjuntos de datos en la infraestructura de producción de Hugging Face a la administración de clústeres en múltiples clústeres de Hugging Face en menos de 13 horas.
Para ponerlo en perspectiva, este trabajo podría llevarle a un equipo rojo (red team) humano semanas de esfuerzo deliberado, pero todo esto ocurrió como un efecto secundario no supervisado y aleatorio. Es un poco como estar en una misión de GTA para entregar un coche, pero que en el camino acabes robando un tanque, iniciando una persecución policial y provocando el caos en toda la ciudad.
Por qué necesitas un plan B para tu proveedor de IA
Pero aún más pertinente es lo que dijo en el escenario el investigador de OpenAI Eric Wallace:
«El objetivo final que queremos alcanzar como industria es que las mejoras en la inteligencia de los modelos aportuen más a la defensa que a la ofensiva. Si no podemos alcanzar este estado final, cada aumento en la inteligencia favorecerá al atacante, y esa es una posición insostenible».
Desafió a los actores de la industria a abordar este problema específico como un asunto urgente (¡porque lo es!). Si la industria no lo resuelve, el terreno se inclinará aún más hacia quien ataca en lugar de hacia quien se defiende.
Y, sin embargo, parece que cada semana hay otro agente de IA suelto atacando a otra organización. Solucionar esto va más lá de los detalles técnicos del entorno aislado (sandbox) y del arnés (harness). La verdadera pregunta es en quién puede confiar realmente una empresa o una agencia gubernamental. La suspensión de Fable por parte de Anthropic es un buen ejemplo de esto: de la noche a la mañana, las herramientas de uno de los principales proveedores de modelos de IA de confianza fueron retiradas de todos los equipos que dependían de ellas.
Según Alex Stamos, director de seguridad de la información (CISO) de Corridor.dev: «Esto indicó que no se puede depender de la infraestructura de IA estadounidense porque, en cualquier momento, se podría utilizar una justificación no escrita, caprichosa y legalmente dudosa para arrebatarte esa infraestructura bajo los pies».
Esto brindó una oportunidad para los modelos competitivos de China, incluidos los modelos de pesos abiertos (open-weights). Kimi dio una advertencia clara a OpenAI y Anthropic sobre lo que se avecinaba con un rendimiento similar al de Fable.
Incluso después de que se levantara la suspensión de Fable, la nueva versión presentada por Anthropic agravó el problema con nuevas salvaguardas. Cuando los agentes de OpenAI atacaron a Hugging Face, este último intentó utilizar Fable y Opus 4.8 de Anthropic para la investigación. Sin embargo, ambos contaban con estrictas barreras de ciberseguridad (guardrails) que bloqueaban sus solicitudes. Así que, en su lugar, configuraron GLM 5.2, un modelo de pesos abiertos, para realizar su análisis de rastreo en su propio hardware.

Todo esto para decir que el hecho de que los modelos de EE. UU. sean los más conocidos, los de mayor rendimiento (aunque alternativas como Kimi K3 estén alcanzándolos) y, por tanto, los más accesibles en este momento, no significa que siempre vayan a estar accesibles. Están ahí para ser utilizados, teniendo presente que surge un problema si no hay un plan B cuando las condiciones cambian según el calendario de otra persona.
Entonces, ¿cu debería ser la respuesta de la industria al problema?
Según Wallace, de OpenAI, uno de los desafíos más urgentes que la industria debe comenzar a abordar es el «red teaming agéntico continuo» (continuous agentic red teaming):
«Existe la necesidad de invertir en un red teaming de agentes de IA que permita a los defensores encontrar y solucionar las vulnerabilidades antes de que lo hagan los atacantes».
Pero advirtió que este ciclo debe estar totalmente automatizado, desde la detección de vulnerabilidades hasta la aplicación de parches y la corrección.
Stamos sugirió que los modelos de pesos abiertos (open-weights) van a ser un gran catalizador para la innovación y los negocios. Más allá de su rentabilidad, destaca como un beneficio significativo la soberanía de los datos para el creciente número de jurisdicciones y empresas que no pueden enviar su código o sus datos a una nube estadounidense. Además de eso, afirma:
«Existe una demanda real y legítima de modelos locales de alta velocidad que puedan ejecutarse desconectados».
Si juntamos estos tres aspectos, la respuesta de la industria a la propia advertencia de Wallace nos está mirando fijamente a los ojos: una defensa que se ejecute de forma continua, en modelos que hagan esto asequible y en una infraestructura que nadie más pueda arrebatarte.
Dónde nos deja esto
Si no controlas tu infraestructura de seguridad, dependes de la decisión de otra persona para mantenerla a tu disposición. La brecha de seguridad en Hugging Face demostró hasta dónde puede escalar un ataque una vez que nadie tiene que aprobar el siguiente paso. El relato de Stamos sobre la suspensión de Fable evidenció el mismo problema desde la perspectiva contraria: las herramientas de un proveedor de confianza se apagaron para los equipos que dependían de ellas por motivos que no tenían nada que ver con que dichas herramientas funcionaran realmente.
Sin embargo, llevar agentes de IA a tu propia infraestructura no resuelve eso por sí solo. Un agente sin contener probará todas las puertas a las que pueda llegar, ya se esté ejecutando en tu red o en la nube de otra persona. Trasladarlo a tu propio hardware solo ayuda si el sistema en sí le impide deambular. Las pruebas deben ejecutarse de forma continua, en una infraestructura que realmente poseas. Y los agentes que las realizan necesitan límites que sean impuestos por el propio sistema.
Si tu equipo necesita lo que este artículo defiende, Aikido Machine se ejecuta íntegramente en tus instalaciones (on-premises) con acceso opcional a tu código (whitebox/blackbox) y puede operar totalmente aislado de internet (air-gapped) cuando nada necesite salir del edificio. Sigue el mismo enfoque de control de alcance que hemos creado para Aikido Attack: contención diseñada en el propio sistema en lugar de dejarse en manos de las instrucciones. En Aikido Machine, esa contención se extiende también a la capa de red. Dos bancos europeos ya lo están utilizando. Reserva una sesión técnica aquí.
.png)


