Suele pasar así. La entrega es en dos días, el chatbot ha escrito un párrafo impecable con cuatro referencias y la tercera parece perfecta. Autores con nombres creíbles. Una revista del campo adecuado. Año de publicación, 2021. Cuarenta minutos de búsqueda después, asumes que ese artículo nunca se escribió.
No es un fallo aislado. Cuando unos investigadores pidieron a ChatGPT que redactara revisiones bibliográficas breves sobre 42 temas, el 55 % de las citas de GPT-3.5 y el 18 % de las de GPT-4 eran inventadas, y muchas de las reales seguían teniendo errores importantes [1]. En la evaluación de OpenScholar, GPT-4o inventó entre el 78 y el 90 % de las citas científicas que generó [2].
El coste no es solo el bochorno. Una referencia inventada en un capítulo de tesis o en un manuscrito enviado es un problema de integridad científica, y cada vez más revisores y directores de tesis lo comprueban.
Por qué los chatbots se inventan referencias
Un chatbot generalista escribe a partir de lo que recuerda su modelo. Sabe qué aspecto suele tener una cita en tu campo: qué apellidos aparecen, qué revistas, qué años. Cuando no consigue recordar una fuente real, aun así puede producir algo con la forma correcta. El resultado se lee bien, y precisamente por eso se cuela.
La comprobación de referencias en cinco minutos
Antes de que una referencia generada con ayuda de IA entre en tu manuscrito, haz estas comprobaciones. Llevan unos minutos por párrafo y detectan casi todo.
- Resuelve el DOI. Pégalo detrás de https://doi.org/. Si no hay DOI, o te lleva a otro artículo, detente.
- Cuadra tres campos. Primer autor, año y revista deben coincidir con la página de destino. Las referencias inventadas suelen acertar dos de tres.
- Contrasta el resumen con la afirmación. Un artículo real puede citarse para algo que nunca dijo. Comprueba que el resumen respalda exactamente la frase que lo cita.
- Busca el título entre comillas. Un artículo real aparece en un índice académico. Uno inventado no devuelve nada, o algo muy parecido con otra lista de autores.
- Guarda el PDF o la página de destino. Si no puedes abrirlo, no podrás defenderlo en una defensa de tesis ni en una revisión por pares.
Mejor aún: que ningún artículo no recuperado entre en el borrador
Comprobar a posteriori funciona, pero es lento. La solución más fiable es cambiar el orden: primero buscar, después filtrar los resultados y solo entonces escribir, citando únicamente artículos que se hayan recuperado de verdad.
Así está construido tlooto. Cuando haces una pregunta de investigación, tlooto planifica una serie de búsquedas, recupera artículos de un índice académico con autores, revista, año, DOI y resumen, los filtra según tus criterios y redacta el informe a partir de los que los superan. Cada frase lleva una cita numerada, y la lista de referencias se genera a partir de los mismos registros que el texto, así que ambos siempre coinciden.
La lista de referencias de un informe de tlooto. Cada entrada enlaza a su DOI, y el estilo se puede cambiar sin reescribir nada.
Tú sigues leyendo los artículos. tlooto no toma las decisiones de investigación por ti, ni debe hacerlo. Pero partes de una lista de fuentes que existen, en lugar de un párrafo que tienes que desmontar.
Ver un informe de tlooto con citas, sin registrarte →
Una regla rápida para tu grupo o tu clase
Si una referencia no se puede abrir, no entra. Comparte esta regla con cualquiera que use IA para escribir. Es lo bastante sencilla para recordarla a las dos de la madrugada, que es cuando se cometen casi todos estos errores.
Referencias
[1] Walters, W. H., & Wilder, E. I. (2023). Fabrication and errors in the bibliographic citations generated by ChatGPT. Scientific Reports, 13. https://doi.org/10.1038/s41598-023-41032-5
[2] Asai, A., et al. (2024). OpenScholar: Synthesizing scientific literature with retrieval-augmented LMs. arXiv. https://arxiv.org/abs/2411.14199