たいていこんな流れです。締め切りまであと2日。チャットボットが参考文献4件付きの整った段落を出してきて、3件目がいかにも完璧に見える。実在しそうな著者名、分野に合ったジャーナル、2021年の出版年。40分探し回った末に、その論文は最初から書かれていなかったと認めることになります。
これはまれな不具合ではありません。42のトピックについてChatGPTに短い文献レビューを書かせた研究では、GPT-3.5の引用の55%、GPT-4の引用の18%が捏造で、実在する文献の引用にも実質的な誤りが多く含まれていました [1]。OpenScholarの評価では、GPT-4oが生成した学術引用の78〜90%が捏造でした [2]。
代償は恥をかくことだけではありません。学位論文の章や投稿原稿に存在しない参考文献が入っていれば研究公正の問題になりますし、査読者や指導教員が確認するケースも増えています。
チャットボットが参考文献をでっち上げる理由
汎用チャットボットは、モデルが記憶している内容をもとに文章を書きます。あなたの分野の引用がふつうどんな形をしているか、つまりどんな姓、どんなジャーナル、どんな年が並ぶかは知っています。実在する文献を思い出せないときでも、形だけ整ったものは作れてしまいます。読んで違和感がないからこそ、見逃されるのです。
5分でできる参考文献チェック
AIの助けを借りた参考文献を原稿に入れる前に、次の確認をしてください。1段落あたり数分で、ほぼすべての問題を見つけられます。
- DOIを解決する。 https://doi.org/ の後ろに貼り付けます。DOIがない、または別の論文に飛ぶなら、そこで止めます。
- 3つの項目を照合する。 筆頭著者、出版年、ジャーナルがすべてランディングページと一致する必要があります。捏造された参考文献は3つのうち2つだけ合っていることがよくあります。
- 要旨を主張と突き合わせる。 実在する論文でも、その論文が述べていない内容の根拠として引用されることがあります。引用している文そのものを要旨が裏付けているか確認します。
- タイトルを引用符で囲んで検索する。 実在する論文なら学術インデックスに出てきます。捏造なら何もヒットしないか、著者リストの違うよく似た論文が出てきます。
- PDFかランディングページを保存しておく。 開けない文献は、口頭試問でも査読でも説明できません。
より確実な方法：取得していない論文を原稿に入れない
事後チェックは有効ですが、時間がかかります。より確実なのは作業の順序を変えることです。まず検索し、結果をスクリーニングし、それから書く。引用するのは実際に取得した論文だけにします。
tlootoはこの順序で作られています。研究の問いを入力すると、tlootoは複数の検索を計画し、著者・掲載誌・出版年・DOI・要旨の付いた論文を学術インデックスから取得し、あなたの基準に照らしてスクリーニングしたうえで、通過した論文からレポートを書きます。すべての文に番号付きの引用が付き、参考文献リストは本文と同じレコードから生成されるので、両者が食い違うことはありません。
tlootoレポートの参考文献リスト。各項目はDOIにリンクしており、何も書き直さずにスタイルを切り替えられます。
論文を読むのは、これまでどおりあなたです。tlootoが研究上の判断を代わりに下すことはありませんし、そうすべきでもありません。ただ、分解して確かめなければならない段落からではなく、実在する文献のリストから始められます。
研究室や授業のための簡単なルール
開けない参考文献は入れない。AIを使って文章を書いている人には、このルールを共有してください。こうしたミスが起きがちな深夜2時でも覚えていられるほどシンプルです。
参考文献
[1] Walters, W. H., & Wilder, E. I. (2023). Fabrication and errors in the bibliographic citations generated by ChatGPT. Scientific Reports, 13. https://doi.org/10.1038/s41598-023-41032-5
[2] Asai, A., et al. (2024). OpenScholar: Synthesizing scientific literature with retrieval-augmented LMs. arXiv. https://arxiv.org/abs/2411.14199