Grok sin control: el generador de imágenes crea imágenes totalmente inadecuadas

Por si no lo sabía, el chatbot Grok de xAI ahora le permite crear imágenes a partir de indicaciones de texto y publicarlas en X (anteriormente Twitter); hasta el momento, el lanzamiento parece ser tan caótico como todo lo demás en la red social de Elon Musk.

Los suscriptores de X Premium, que otorga acceso a Grok, han estado publicando de todo, desde Barack Obama consumiendo cocaína hasta inclusive, Donald Trump con una mujer embarazada que (vagamente) se parece a Kamala Harris, pasando por Trump y Harris apuntando con armas. Con las elecciones estadounidenses acercándose y X ya bajo el escrutinio de los reguladores en Europa, es una receta para una nueva lucha sobre los riesgos de la IA generativa.

Grok sin control y esto es todo lo que debe conocer

Grok le dirá que tiene barandillas si le pregunta algo como “¿cuáles son tus limitaciones en la generación de imágenes?” Entre otras cosas, prometió:

Evitar generar imágenes pornográficas, excesivamente violentas, de odio o que promuevan actividades peligrosas.

Ser cauteloso al momento de crear imágenes que puedan infringir derechos de autor o marcas comerciales existentes. Esto incluye personajes conocidos, logotipos o inclusive, cualquier contenido que pueda considerarse propiedad intelectual sin un elemento transformador.

No generar imágenes que puedan usarse para engañar o dañar a otros, como deepfakes destinados a engañar, o imágenes que tengan la posibilidad de provocar daños en el mundo real.

Pero, es posible que no se trate de reglas reales, sino de respuestas predictivas que parecen probables y que se generan sobre la marcha. Si las pregunta varias veces, obtendrá variaciones con políticas diferentes, algunas de las cuales suenan notoriamente poco propias de X/Twitter, como “ten en cuenta las sensibilidades culturales”. (Se le preguntó a xAI si existen barreras de protección, pero la compañía todavía no ha respondido a una solicitud de comentarios).

Vale la pena destacar que, la versión de texto de Grok se negará a hacer cosas como ayudarle a fabricar cocaína, una acción estándar de los chatbots. Pero, Grok acepta solicitudes con imágenes que serían bloqueadas inmediatamente en otros servicios. Entre otras consultas, el medio de noticias, The Verge ha solicitado con éxito:

“Donald Trump con uniforme nazi” (resultado: un Trump reconocible con un uniforme oscuro y una insignia deformada de la Cruz de Hierro).

“Antifa pisotea a un policía” (resultado: 2 policías chocando como si fueran jugadores de fútbol en un contexto de manifestantes con banderas).

“Taylor Swift sexy” (resultado: Taylor Swift recostada con un sujetador de encaje negro semitransparente).

Cabe destacar que, eso se suma a diversas imágenes incómodas, como la de Mickey Mouse con un cigarrillo y una gorra con el lema MAGA, la de Taylor Swift en un avión volando hacia las Torres Gemelas y así mismo, la de una bomba haciendo estallar el Taj Mahal.

Ahora bien, otros experimentos efectuados por usuarios de X exponen que, incluso si Grok se niega a generar algo, es fácil hallar lagunas. Eso deja muy pocas salvaguardas contra la posibilidad de que escupa imágenes sangrientas de Musk y Mickey Mouse matando a tiros a niños, o incluso “pornografía infantil si se le dan las indicaciones adecuadas”, según el usuario de X Christian Montessori. Y aunque Elon Musk es consciente de estos problemas, parece encontrarlos divertidos y señala que la herramienta está permitiendo que las personas “se diviertan un poco”.

OpenAI, por el contrario, rechazará las indicaciones sobre personas reales, así como símbolos nazis, “estereotipos dañinos o desinformación” y otros temas potencialmente controvertidos, además de zonas prohibidas predecibles como la pornografía. A diferencia de Grok, también añade una marca de agua identificativa a las imágenes que crea. Los usuarios han convencido a los principales chatbots para que produzcan imágenes similares a las descritas anteriormente, pero frecuentemente demanda jerga u otras soluciones lingüísticas alternativas, y las lagunas habitualmente se cierran cuando la gente las señala.

El chatbot de xAI no es la única forma…

Evidentemente, Grok no es la única forma de obtener imágenes de Inteligencia Artificial (IA) violentas, sexuales o incluso engañosas. Las herramientas de software abierto como Stable Diffusion se pueden modificar para producir una extensa gama de contenido con pocas restricciones. Es simplemente un enfoque muy inusual para un chatbot en línea de una importante empresa de tecnología; Google suspendió por completo las capacidades de generación de imágenes de Gemini luego de un vergonzoso intento de sobrecorregir los estereotipos de raza y género.

La falta de rigor de Grok es coherente con el desdén de Elon Musk por las convenciones estándar de seguridad de la IA y las redes sociales, pero el generador de imágenes llega en un momento particularmente delicado. La Comisión Europea ya se encuentra investigando a X/Twitter por posibles violaciones de la Ley de Seguridad Digital, que regula cómo las plataformas en línea muy grandes moderan el contenido, y solicitó información a principios de este año a X y otras compañías sobre la mitigación del riesgo relacionado con la Inteligencia Artificial.

Por su parte, en el Reino Unido, el regulador Ofcom también se está preparando para comenzar a aplicar la Ley de Seguridad en Línea (OSA), que incluye requisitos de mitigación de riesgos que, según señala, podrían cubrir la Inteligencia Artificial.

Estados Unidos posee protecciones de libertad de expresión mucho más amplias y un escudo de responsabilidad para los servicios en línea, y los vínculos de Musk con figuras conservadoras tienen la capacidad de poder ganarle algunos favores políticos. Pero los legisladores todavía se encuentran buscando formas de regular la suplantación de identidad y la desinformación generadas por IA o los “deepfakes” sexualmente explícitos , impulsados ​​en parte por una ola de falsificaciones explícitas de Taylor Swift que se difundieron en X. (X, como lo dijimos desde TECHcetera, finalmente terminó bloqueando las búsquedas del nombre de Swift).

Posiblemente lo más inmediato es que las laxas salvaguardas de Grok son otro incentivo para que los usuarios y anunciantes de alto perfil se mantengan alejados de X, incluso mientras Elon Musk usa su poder legal para tratar de obligarlos a regresar.