小規模なレビューでも、要旨400件はごく普通の数です。1件1分かかれば丸1日の仕事になり、8時間ぶっ通しで精度よくスクリーニングできる人はいません。250件目あたりで判断がぶれ始め、350件目には、朝なら除外していたはずの論文を含めてしまうようになります。
スクリーニングに根性はいりません。必要なのは仕組みです。
始める前に：基準を書き出す
組み入れ基準を4〜5つ、短く確認しやすい文で書き出します。対象集団、曝露または介入、アウトカム、デザイン、期間です。説明に1段落必要な基準は分割しましょう。20件の要旨で試しに使ってみて、先に進む前に調整します。
判断は2択ではなく3択で
含める、除外、保留。保留の山があれば手が止まりません。多くの人は判断に迷う要旨に1件ずつ悩んで時間を無駄にしています。最後にまとめて判断するほうが速く、一貫性も保てます。
50件ずつのブロックで進める
ブロックの合間に休憩をとり、各ブロックの前に基準を読み直します。些細なことに聞こえますが、判断のぶれを防ぐ最善の方法です。
一次スクリーニングはAIに、理由付きで任せる
機械学習は何年も前から、エビデンス統合におけるスクリーニングの高速化に使われてきました [1]。大事なのは速さではなく、検証できることです。一次スクリーニングが役に立つのは、各論文がなぜ残され、なぜ除外されたのかを確認でき、判断に迷う論文を自分でチェックできる場合だけです。
tlootoでは、システマティックレビューのスクリーニング段階と同じように、すべての候補があなたの問いから導かれた明示的な組み入れ基準で評価されます。通過した論文は順位付けされ、焦点を絞ったエビデンスセットとして統合の段階に渡されます。何が残され、なぜ残されたのかは作業プロセスパネルで確認できます。
正式なシステマティックレビューでは、これをプロトコルの代わりではなく、2人目のレビュアーや優先順位付けのステップとして扱ってください。方法上必要な場合は二重スクリーニングを維持し、AIの支援はPRISMA 2020に沿って透明に報告しましょう。
週末を守るチェックリスト
- 基準を書き出し、20件の要旨で試した。
- 判断は3択：含める、除外、保留。
- 50件ずつのブロックで進め、各ブロックの前に基準を読み直す。
- AIの一次スクリーニングは理由が見える形で。保留と判断に迷う論文は自分で確認する。
- フローダイアグラム用に、すべての除外理由を記録する。
参考文献
[1] Marshall, I. J., & Wallace, B. C. (2019). Toward systematic review automation: a practical guide to using machine learning tools in research synthesis. Systematic Reviews, 8. https://doi.org/10.1186/s13643-019-1074-9