tlooto AI Detectorページの分析例。文を1つずつ順に確認していきます。
こんなメッセージを想像してください。全部の文を自分で書きました。なのに検出ツールでは70% AIと出て、教授から話があると言われています。
本当につらい立場ですし、本来あるべきよりもずっと頻繁に起きています。スタンフォード大学の研究では、広く使われている7つのGPT検出ツールが、英語を母語としない人が書いたTOEFLのエッセイの半数以上をAI生成と誤判定しました。一方、母語話者のエッセイははるかに正確に判定されていました [1]。学術論文が求める、丁寧でフォーマルでよく推敲された英語こそ、多くの検出ツールが疑わしいと判断するものなのです。
検出ツールが実際に測っているもの
検出ツールは、誰が文章を書いたかを知りません。推定しているのは、その文章がどれだけ予測しやすいかです。ありふれた言い回し、整った構造、一般的な主張でできた文は、統計的にモデルの出力と似て見えます。そのため These findings highlight the importance of adopting a holistic approach のような文は、人が書いてもモデルが書いても判定されます。とてもなじみのある言い方で、ほとんど何も言っていないからです。
全体の割合ひとつだけでは証拠として弱いのも、同じ理由です。どの文がスコアを押し上げたのか、なぜなのかが見えなくなってしまいます。
判定を受けたときにすべきこと
- スコアではなく文を見る。 どの文が判定されたかを確認します。人が書いた下書きの多くでは、ありきたりなつなぎの文やまとめの文がいくつか引っかかっているだけです。
- 一般論を具体的な内容に置き換える。 自分の数値、サンプル、比較を文に入れます。Students who used their phones more than seven hours a day had a first-semester GPA 0.21 points lower のような文は、実際に分析した人の文として読まれます。
- 執筆過程の記録を残す。 下書き、版の履歴、メモ、データファイルは、著者であることを示す最も強い証拠です。作業しながら保存しておきましょう。
- 所属機関のAIポリシーに従い、求められている場合はツールの使用を開示する。 検出結果は話し合いの出発点であるべきで、結論であってはなりません。
tlootoの文単位の分析
tlootoのAI Detectorは、根拠を文ごとに示します。各文は「AI執筆の兆候あり」「判定保留」「問題なし」のいずれかに分類され、ハイライトされた文をクリックすると判定の理由を確認できます。そこから自分で書き直すことも、Humanizerに修正案を出してもらうこともでき、その後もう一度チェックできます。
検出ページの例で判定されているのは、ありきたりな文です。傾向を述べた文、Furthermore で始まる文、締めくくりのまとめの文。実際の結果を述べた文は通過しています。このパターンこそ、検出ツールが教えてくれる最も役に立つ情報です。もともと弱かった文を指し示してくれるからです。
参考文献
[1] Liang, W., Yuksekgonul, M., Mao, Y., Wu, E., & Zou, J. (2023). GPT detectors are biased against non-native English writers. Patterns, 4(7). https://doi.org/10.1016/j.patter.2023.100779