Un organismo británico sobre seguridad de la IA detectó acciones no autorizadas de agentes de Anthropic y OpenAI, que crearon identidades falsas con intención maliciosa.

Así empiezan las películas de ciencia ficción: un agente de IA fabricó identidades falsas en internet y las usó para intentar convencer a desarrolladores humanos de que aprobaran un código malicioso. Esto fue lo que ocurrió durante una prueba del Instituto Británico para la Seguridad de la IA (AISI), que hizo público el caso esta semana.N

No se trata de un chatbot, es decir, de un sistema que responde y espera. Se trata de un agente que interviene activamente: navega, escribe código, abre cuentas, encadena tareas sin que nadie supervise cada paso.

Esa autonomía es justamente lo que la industria vende como el futuro del trabajo y lo que vuelve tan compleja su evaluación.

El AISI sometió a dos agentes impulsados por Mythos 5, de Anthropic, y GPT-5.6 Sol, de OpenAI a un escenario ficticio de ciberseguridad, con acceso a internet autorizado y algunos filtros de seguridad desactivados. Repitió el ejercicio 122 veces y detectó 19 acciones no autorizadas repartidas en 10 de esas tandas: 17 correspondieron al modelo de Anthropic y 2 al de OpenAI, que se limitaron a conectarse a la red de formas que las instrucciones prohibían.

La más grave fue la de las identidades ficticias, dirigida contra GitHub, la principal plataforma mundial para programadores, y contenida el 28 de julio. Anthropic confirmó que el responsable fue su agente.

Si bien ninguno de estos intentos prosperó ni ocasionó daños, lo que preocupó a los investigadores es que nadie le pidió al modelo que mintiera.

"Es la primera vez que observamos que los riesgos relacionados con la autonomía y el comportamiento de ocultamiento se manifiestan de forma tan clara, sin una solicitud específica", admite el instituto, que también describe "actividades sostenidas y potencialmente perjudiciales dirigidas a personas y organizaciones reales" durante el ejercicio.

Una tendencia de la IA

El caso británico es uno más de otros que se han registrado. Anthropic reveló la semana pasada que sus modelos habían accedido sin permiso a sistemas de tres organizaciones durante pruebas diseñadas precisamente para impedirlo. OpenAI reconoció además que una configuración errónea de Irregular, un proveedor externo, dejó a sus agentes conectarse a internet por error.

"Que Mythos actuara de forma tan engañosa, con aparente conciencia de que se dirigía a una persona real, sugiere que Anthropic no controla sus modelos tanto como cree", resume Andrew Yoon, investigador de la organización californiana CivAI.

Ambas empresas piden ahora "un debate más amplio" y evaluaciones independientes. Sin embargo, lo cierto es que estos agentes ya se venden como el futuro del negocio, pero el andamiaje para examinarlos con seguridad todavía se está construyendo.

Con información de DW