Es crucial dar a conocer que un estudio reciente ha descubierto que las citas científicas generadas por ChatGPT frecuentemente no corresponden a trabajos académicos reales. El estudio, publicado en Mind Pad de la Asociación Canadiense de Psicología, halló que las “tasas de citas falsas” en varios subcampos de la psicología oscilaban entre el 6% y el 60%. Asombrosamente, estas citas inventadas incluyen elementos como nombres de investigadores legítimos e identificadores de objetos digitales (DOI) con el formato apropiado, que fácilmente podrían engañar tanto a estudiantes como también a investigadores.
¿Alucinaciones en las citas o bibliografías?
ChatGPT de OpenAI es un modelo de lenguaje de Inteligencia Artificial que es capaz de generar texto similar a un humano en función de la entrada que recibe. Como parte de la serie más extensa GPT (Generative Pre-trained Transformer), ChatGPT ha sido entrenado con una gran cantidad de datos de texto, lo que le permite generar respuestas coherentes sobre diversos temas. Sin embargo, esta capacidad también presenta ciertos desafíos, fundamentalmente en contextos que requieren alta precisión y confiabilidad, como lo es la escritura académica.
Conforme las herramientas de Inteligencia Artificial (IA) como ChatGPT se vuelven más accesibles y ampliamente utilizadas, existe una progresiva preocupación por sus implicaciones para la integridad académica. Concretamente, la capacidad de la herramienta para “alucinar” información (generar citas plausibles pero inexistentes) plantea un riesgo significativo.
Según algunos académicos, las citas alucinadas son fáciles de detectar porque frecuentemente contienen autores reales, revistas, números de número/volumen apropiados que coinciden con la fecha de publicación y DOI que parecen legítimos. Sin embargo, cuando se examina más de cerca las citas alucinadas, se descubre que se refieren a trabajos que no existen.
Vale la pena destacar que para investigar la precisión de las citas generadas por la Inteligencia Artificial (IA), un experto en el tema le encargó a ChatGPT 3.5 generar 50 citas para seis subcampos psicológicos (religión, animal, social, así como clínica, personalidad y neuropsicología) para un total de 300 citas.
Es de resaltar que, la autenticidad de estas citas se comprobó comparando sus identificadores de objetos digitales (DOI) con publicaciones reales. Si un DOI no conducía a un documento real, se marcaba como una cita alucinada. En el proceso se examinó una selección aleatoria de citas legítimas y alucinadas para investigar las discrepancias en detalle.
Finalmente, los expertos descubrieron que un total del 32,3% de las 300 citas generadas por ChatGPT de OpenAI eran alucinaciones. A pesar de ser inventadas, las mismas (alucinadas) se construyeron con elementos que parecían legítimos, como autores reales reconocidos en sus respectivos campos, DOI con el formato apropiado y referencias a revistas legítimas revisadas por pares.
Cabe destacar que, las citas de alucinaciones variaron según el subcampo. Por ejemplo, ChatGPT solo alucinó 3 citas relacionadas con la neuropsicología, pero alucinó 30 citas relacionadas con la investigación de la psicología de la religión.
Curiosamente, incluso cuando las citas incluían DOI legítimos que redirigían correctamente a artículos reales, una inspección más detallada a menudo revelaba discrepancias. Los artículos citados no siempre se correspondían con los títulos, autores o temas proporcionados por ChatGPT. Por ejemplo, un DOI podría llevar a un artículo genuino sobre un tema totalmente diferente al que describió ChatGPT.
Ventajas y desventajas de ChatGPT
Hay que señalar que, además, el experto observó que ChatGPT de OpenAI podía resumir con precisión artículos académicos si el usuario le suministraba referencias correctas y completas. Sin embargo, dejado a su suerte, el modelo frecuentemente “alucinaba” tanto el contenido como el contexto de las citas.
MacDonald, el experto en el tema en cuestión, explicó que si bien ChatGPT y otros grandes modelos de lenguaje definitivamente cuentan con muchos beneficios, sin embargo, evidentemente todavía se encuentran en su infancia.
Tal y como ocurre con toda investigación, el estudio posee algunas salvedades a considerar. El alcance del estudio se limitó a una versión de ChatGPT y un conjunto concreto de subcampos de psicología, y la naturaleza del desarrollo de la Inteligencia Artificial significa que las versiones más nuevas de ChatGPT pueden no exhibir los mismos patrones de citas alucinadas.
