Le scénario est souvent le même. Le texte est à rendre dans deux jours, le chatbot a produit un paragraphe soigné avec quatre références, et la troisième semble parfaite. Des auteurs au nom crédible. Une revue du bon domaine. Une publication datée de 2021. Quarante minutes de recherche plus tard, vous devez vous rendre à l’évidence : cet article n’a jamais été écrit.
Il ne s’agit pas d’un bug rare. Lorsque des chercheurs ont demandé à ChatGPT de rédiger de courtes revues de littérature sur 42 sujets, 55 % des citations de GPT-3.5 et 18 % de celles de GPT-4 étaient inventées, et nombre des références réelles comportaient encore des erreurs importantes [1]. Dans l’évaluation d’OpenScholar, GPT-4o a inventé de 78 à 90 % des citations scientifiques qu’il produisait [2].
Le coût ne se limite pas à l’embarras. Une référence inventée dans un chapitre de thèse ou un manuscrit soumis pose un problème d’intégrité scientifique, et les relecteurs comme les directeurs de thèse vérifient de plus en plus.
Pourquoi les chatbots inventent des références
Un chatbot généraliste écrit à partir de ce que son modèle a mémorisé. Il sait à quoi ressemble habituellement une citation dans votre domaine : quels noms d’auteurs reviennent, quelles revues, quelles années. Lorsqu’il ne retrouve pas de source réelle, il peut tout de même produire quelque chose qui en a la forme. Le résultat se lit sans accroc, et c’est précisément pour cela qu’il passe inaperçu.
Vérifier une référence en cinq minutes
Avant qu’une référence obtenue avec l’aide de l’IA n’entre dans votre manuscrit, effectuez ces vérifications. Elles prennent quelques minutes par paragraphe et détectent presque tout.
- Résolvez le DOI. Collez-le après https://doi.org/. S’il n’y a pas de DOI, ou s’il renvoie vers un autre article, arrêtez-vous.
- Vérifiez trois champs. Premier auteur, année et revue doivent tous correspondre à la page de l’article. Les références inventées en ont souvent deux sur trois de justes.
- Confrontez le résumé à l’affirmation. Un article réel peut être cité pour quelque chose qu’il n’a jamais dit. Vérifiez que le résumé appuie exactement la phrase qui le cite.
- Recherchez le titre entre guillemets. Un article réel apparaît dans un index scientifique. Un article inventé ne renvoie rien, ou un quasi-homonyme avec une autre liste d’auteurs.
- Conservez le PDF ou la page de l’article. Si vous ne pouvez pas l’ouvrir, vous ne pourrez pas le défendre lors d’une soutenance ou d’une évaluation par les pairs.
Mieux : ne jamais laisser entrer un article non retrouvé
Vérifier après coup fonctionne, mais c’est lent. La solution la plus fiable consiste à changer l’ordre des opérations : rechercher d’abord, trier les résultats, et seulement ensuite rédiger, en ne citant que des articles effectivement retrouvés.
C’est ainsi que tlooto est conçu. Lorsque vous posez une question de recherche, tlooto planifie une série de recherches, récupère dans un index scientifique des articles avec leurs auteurs, leur revue, leur année, leur DOI et leur résumé, les trie selon vos critères, puis rédige le rapport à partir des articles retenus. Chaque phrase porte une citation numérotée, et la liste de références est générée à partir des mêmes notices que le corps du texte : les deux concordent toujours.
La liste de références d’un rapport tlooto. Chaque entrée renvoie à son DOI, et le style peut être changé sans rien réécrire.
Vous lisez toujours les articles. tlooto ne porte pas le jugement scientifique à votre place, et ce n’est pas son rôle. Mais vous partez d’une liste de sources qui existent, et non d’un paragraphe qu’il vous faut démonter.
Voir un rapport tlooto sourcé, sans inscription →
Une règle simple pour votre laboratoire ou votre cours
Si une référence ne peut pas être ouverte, elle n’entre pas dans le texte. Partagez cette règle avec toute personne qui utilise l’IA pour écrire. Elle est assez simple pour qu’on s’en souvienne à 2 heures du matin, l’heure où la plupart de ces erreurs se produisent.
Références
[1] Walters, W. H., & Wilder, E. I. (2023). Fabrication and errors in the bibliographic citations generated by ChatGPT. Scientific Reports, 13. https://doi.org/10.1038/s41598-023-41032-5
[2] Asai, A., et al. (2024). OpenScholar: Synthesizing scientific literature with retrieval-augmented LMs. arXiv. https://arxiv.org/abs/2411.14199