Alarma en Hugging Face: 7 de cada 9 apps de IA aceptaron crear desnudos falsos con una simple orden

Un estudio de la organización europea AI Forensics destapó una grave falla de seguridad en la plataforma Hugging Face. Siete de las nueve aplicaciones de edición de imágenes más populares aceptaron generar desnudos falsos a partir de fotos de mujeres vestidas, sin necesidad de engañar a los filtros de seguridad.

La investigación analizó los Spaces —pequeñas aplicaciones que funcionan desde el navegador— y encontró que la mayoría de ellas procesó instrucciones directas para sexualizar imágenes. Lo más preocupante: también detectaron pedidos que apuntaban a personas que aparentaban ser menores de edad.

¿Cómo se realizó la prueba?

AI Forensics seleccionó nueve Spaces de edición de imágenes populares en Hugging Face. En cada uno, los investigadores subieron una foto generada por IA de una mujer vestida y pidieron que se eliminara la ropa de la parte superior del cuerpo, manteniendo el rostro y la postura.

El resultado fue contundente: siete aplicaciones cumplieron con la solicitud. Los investigadores usaron instrucciones simples y casi idénticas, sin recurrir a técnicas de jailbreak ni mensajes ambiguos. Las herramientas, en su mayoría, se presentaban como editores de imágenes genéricos, lo que permitía usarlas para crear contenido íntimo falso sin consentimiento.

Más de 1000 pedidos en una semana

Para medir la demanda real, AI Forensics publicó Spaces señuelo que registraban las fotos y las instrucciones de los usuarios, sin generar el contenido. En solo siete días, recibieron más de 1000 pedidos. El 73% tenía carácter sexual, y dentro de ese grupo, el 83% buscaba desnudar o sexualizar a la persona de la foto.

El 95% de las víctimas eran mujeres. Además, el 6,7% de los pedidos sexuales incluía imágenes de personas que aparentaban ser menores, según la clasificación de los investigadores. Esto demuestra que existe una demanda concreta y que algunas aplicaciones están dispuestas a responderla.

¿Qué dice Hugging Face?

Las políticas de Hugging Face prohíben expresamente las imágenes sexuales creadas sin consentimiento, el material para acosar o humillar, y cualquier desnudo o representación sexual que involucre a menores. La empresa puede bloquear repositorios, limitar interacciones o suspender cuentas cuando detecta infracciones. Sin embargo, el sistema depende en gran medida de denuncias externas y revisiones posteriores.

AI Forensics advirtió que la plataforma no aplica una protección uniforme a todos los Spaces de edición de imágenes. La responsabilidad de los filtros recae principalmente en cada desarrollador, lo que deja un vacío de seguridad. Mientras tanto, algunas aplicaciones procesan instrucciones y entregan resultados sin controles suficientes sobre el pedido o la imagen generada.

Las recomendaciones del informe

El estudio concluyó con dos sugerencias clave: incorporar filtros generales que examinen las instrucciones antes de que lleguen a los modelos, y analizar las imágenes generadas antes de mostrarlas a los usuarios, para bloquear resultados sexuales creados sin consentimiento. La pelota ahora está del lado de Hugging Face, que deberá decidir si refuerza sus controles o sigue exponiendo a millones de usuarios a este riesgo.