Le dieron una misión controlada a Gemini, pero terminó adentro de tres empresas reales

Google confirmó que uno de sus modelos de Gemini accedió sin autorización a los sistemas de tres empresas reales durante una evaluación pensada para medir sus capacidades en ciberseguridad. Los episodios ocurrieron en mayo y salieron a la luz por una investigación de The Wall Street Journal.

La prueba estaba a cargo de Irregular, una firma externa especializada en evaluar modelos avanzados. La idea era simple: que la inteligencia artificial atacara objetivos ficticios dentro de un entorno cerrado y sin contacto con el mundo exterior.

Qué falló en el operativo

Una configuración incorrecta dejó abierta la conexión a internet y eso permitió que Gemini alcanzara servicios que quedaban fuera del ejercicio. En uno de los casos, la empresa ficticia usada en la prueba tenía el mismo nombre que una compañía real: el sistema confundió ambos objetivos y logró ingresar a un servicio protegido.

En el primer incidente, el modelo probó contraseñas hasta conseguir acceso al servicio de esa compañía real. Durante otras dos ejecuciones, Gemini buscó información en internet, encontró credenciales expuestas en repositorios públicos y las usó para entrar en servicios de otras empresas que tampoco formaban parte de la evaluación.

La reacción de Google

Según la compañía, Gemini interrumpió sus acciones cuando detectó que había llegado a sistemas reales. Las tres organizaciones afectadas recibieron una notificación y los accesos no provocaron daños.

Heather Adkins, vicepresidenta de Ingeniería de Seguridad de Google, explicó que el modelo había accedido a sitios que interpretaba como parte de la prueba. “En los tres casos, el modelo se detuvo”, afirmó.

La tecnológica no reveló qué versión específica de Gemini participó de las evaluaciones, aunque aclaró que se trataba de un modelo anterior al más reciente. Tampoco identificó a las tres organizaciones afectadas ni precisó qué información quedó al alcance de la IA durante los accesos.

Cuándo se supo y qué cambió

Irregular comunicó los episodios a Google a fines de julio, después de detectar otros problemas durante evaluaciones de modelos de inteligencia artificial. Google decidió no divulgar públicamente el caso en ese momento porque, según explicó, los accesos no causaron daños y Gemini detuvo su actividad al reconocer que había alcanzado servicios reales.

La empresa también descartó que lo ocurrido representara un caso de desalineación del modelo. Para Google, la reacción posterior de Gemini mostró que las salvaguardas funcionaron cuando el sistema identificó que había cruzado los límites de la evaluación.

Tras los incidentes, Google e Irregular modificaron el proceso utilizado para este tipo de pruebas. Adkins señaló que las compañías afectadas fueron informadas y que ambas empresas trabajaron sobre cambios destinados a evitar que futuras evaluaciones vuelvan a alcanzar infraestructura externa por error.

El episodio se suma a otros casos comunicados en los últimos meses por OpenAI, Anthropic y Meta durante pruebas de ciberseguridad con modelos capaces de ejecutar acciones sobre sistemas informáticos. En esos antecedentes también aparecieron problemas relacionados con los límites entre los entornos preparados para las evaluaciones y los servicios disponibles en internet.

El punto central de estos casos está en las condiciones bajo las cuales se realizan las pruebas. Los modelos reciben tareas ofensivas dentro de escenarios autorizados y controlados, pero una falla en las barreras que separan esos entornos de internet puede permitir que sus acciones alcancen sistemas que quedaron fuera del experimento.