6つのチェック、2種類のツール。イメージ図です。
1,600人以上の研究者を対象にしたNatureの調査では、多くの研究者が、AIツールは自分の研究にとって重要または不可欠なものになると予想していました [1]。もはや問題は研究にAIを使うかどうかではありません。指導教員、査読者、審査員から、ある主張がどのように導かれたのかを聞かれたとき、使ったことを説明できるのはどのツールか、です。
この6つの質問は、私たちのツールも含め、どんなツールにも使えます。
1. 主張はどこから来ているか？
モデルの記憶からか、それともあなたの問いのために取得された論文からか。確認できるのは後者だけです。
2. すべての引用を開けるか？
すべての参考文献は実在する論文にたどり着けるべきで、理想的にはDOIが付いているべきです。ある研究では、GPT-3.5の引用の55%、GPT-4の引用の18%が捏造でした [2]。開けないなら、引用しないでください。
3. 回答がどう組み立てられたかを見られるか？
どんな検索が行われ、どの論文がなぜ残されたのか。見えるプロセスは、方法のセクションに記述できるプロセスです。
4. 基準を適用しているか、関連度で並べているだけか？
明示的な組み入れ基準によるスクリーニングこそが、エビデンスと検索結果を分けるものです。
5. 執筆するときもエビデンスはつながったままか？
文章を文書に移した瞬間に引用が壊れるなら、ミスが続くことになります。執筆環境で引用が生きたまま保たれるか、標準的な引用スタイルに対応しているかを確認しましょう。
6. 追加の質問は、見つかったものの上に積み上がるか？
実際の研究の問いは連なってやってきます。毎回ゼロから始めるツールは、あなたのエビデンスと時間を無駄にします。
tlootoは、この6つの質問を軸に設計されています。DOI付きで取得される論文、あなたの基準によるスクリーニング、見える作業プロセス、Research Editorの生きた引用、そしてすでに集めたエビデンスの上に積み上がる追加の質問。tlootoにも、検討中のほかのどのツールにも、同じ基準を当てはめてください。
参考文献
[1] Van Noorden, R., & Perkel, J. M. (2023). AI and science: what 1,600 researchers think. Nature, 621. https://doi.org/10.1038/d41586-023-02980-0
[2] Walters, W. H., & Wilder, E. I. (2023). Fabrication and errors in the bibliographic citations generated by ChatGPT. Scientific Reports, 13. https://doi.org/10.1038/s41598-023-41032-5