Según The Wall Street Journal, OpenAI tiene un sistema para marcar con agua el texto creado en ChatGPT y una herramienta para detectar la marca de agua desde hace alrededor de un año. Sin embargo, la empresa se encuentra dividida internamente sobre si lanzarlo o no. Por un lado, parece lo más responsable que se puede hacer; pero, por otro, podría perjudicar sus resultados.
La marca de agua de OpenAI se describe como un ajuste de la forma en que el modelo pronostica las palabras y frases más probables que seguirán a las anteriores, creando un patrón detectable. (Cabe destacar que, es una simplificación, pero puede consultar la explicación más detallada de Google sobre la marca de agua de texto de Gemini para obtener más información).
OpenAI: sistema para marcar con agua el texto creado en ChatGPT y la herramienta para detectar la marca de agua
Proporcionar algún modo de detectar material escrito por Inteligencia Artificial (IA) es una posible ventaja para los profesores que intentan disuadir a los estudiantes de que le dejen sus trabajos escritos a la IA. El Journal ha informado que la empresa descubrió que las marcas de agua no afectaban a la calidad del texto que producía su chatbot.
En una encuesta que encargó la compañía, “la gente de todo el mundo apoyó la idea de una herramienta de detección por IA por un margen de cuatro a uno”, escribe el Journal.
Luego de que el Journal publicara su artículo, OpenAI corroboró que ha trabajado en la marca de agua de texto en una actualización de blog que fue descubierta recientemente por el medio de noticias, TechCrunch. En la misma, la compañía señala que su método es bastante preciso (“99,9% efectivo”, según los documentos que vio el Journal) y resistente a la manipulación, como “la paráfrasis”. Sin embargo, señala que técnicas como la reformulación con otro modelo hacen que sea “trivial de eludir por parte de malos actores”. La empresa igualmente indica que le preocupa la utilidad de las herramientas de Inteligencia Artificial para la estigmatización para los hablantes no nativos.
Pero parece que a OpenAI también le preocupa que el uso de marcas de agua pueda desanimar a los usuarios encuestados de ChatGPT, casi el 30% de los cuales evidentemente le dijeron a la compañía que usarían menos el software si se implementara la marca de agua.
Algunos continúan pensando que son efectivas…
A pesar de eso, algunos empleados continúan pensando que las marcas de agua son efectivas. Sin embargo, en vista de los molestos sentimientos de los usuarios, el Journal señala que algunos sugirieron probar métodos que son “potencialmente menos controvertidos entre los usuarios, pero que no están probados”. En la actualización de su blog de hace un par de días, la empresa indicó que está “en las primeras etapas” de la exploración de la incorporación de metadatos. Explica que todavía es “demasiado pronto” para saber qué tan bien funcionará, pero que debido a que está firmado criptográficamente, no habrá falsos positivos.
