Meist läuft es so ab: Der Entwurf ist in zwei Tagen fällig, der Chatbot hat einen sauberen Absatz mit vier Quellen geliefert, und die dritte sieht perfekt aus. Glaubwürdige Autorennamen. Eine Zeitschrift aus dem richtigen Fach. Erscheinungsjahr 2021. Vierzig Minuten Suche später steht fest: Dieses Paper wurde nie geschrieben.
Das ist kein seltener Ausrutscher. Als Forschende ChatGPT kurze Literaturübersichten zu 42 Themen schreiben ließen, waren 55 % der Quellen von GPT-3.5 und 18 % der Quellen von GPT-4 erfunden, und viele der echten enthielten dennoch inhaltliche Fehler [1]. In der OpenScholar-Evaluation erfand GPT-4o 78 bis 90 % der wissenschaftlichen Zitate, die es erzeugte [2].
Der Schaden ist nicht nur peinlich. Eine erfundene Quelle in einem Dissertationskapitel oder einem eingereichten Manuskript ist ein Problem der wissenschaftlichen Integrität, und Gutachtende wie Betreuende prüfen immer häufiger nach.
Warum Chatbots Quellen erfinden
Ein allgemeiner Chatbot schreibt aus dem, was sein Modell gespeichert hat. Er weiß, wie ein Zitat in Ihrem Fach typischerweise aussieht: welche Nachnamen vorkommen, welche Zeitschriften, welche Jahre. Fällt ihm keine echte Quelle ein, kann er trotzdem etwas mit der richtigen Form erzeugen. Das Ergebnis liest sich unauffällig, und genau deshalb rutscht es durch.
Der Fünf-Minuten-Quellencheck
Bevor eine KI-gestützte Quelle in Ihr Manuskript kommt, machen Sie diese Prüfungen. Sie kosten pro Absatz ein paar Minuten und finden fast alles.
- Lösen Sie die DOI auf. Fügen Sie sie hinter https://doi.org/ ein. Gibt es keine DOI oder landen Sie bei einem anderen Paper: Stopp.
- Gleichen Sie drei Felder ab. Erstautor, Jahr und Zeitschrift müssen mit der Zielseite übereinstimmen. Erfundene Quellen treffen oft zwei von drei.
- Lesen Sie das Abstract gegen die Aussage. Auch ein echtes Paper kann für etwas zitiert werden, das es nie behauptet hat. Prüfen Sie, ob das Abstract genau den Satz stützt, der es zitiert.
- Suchen Sie den Titel in Anführungszeichen. Ein echtes Paper taucht in einem wissenschaftlichen Index auf. Ein erfundenes liefert nichts oder einen Beinahe-Treffer mit anderer Autorenliste.
- Bewahren Sie das PDF oder die Zielseite auf. Was Sie nicht öffnen können, können Sie weder in der Disputation noch im Peer Review verteidigen.
Besser: Kein ungeprüftes Paper gelangt in den Entwurf
Nachträgliches Prüfen funktioniert, ist aber langsam. Zuverlässiger ist es, die Reihenfolge umzudrehen: erst suchen, dann die Treffer sichten und erst danach schreiben, und dabei nur Papers zitieren, die tatsächlich gefunden wurden.
Genau so ist tlooto gebaut. Wenn Sie eine Forschungsfrage stellen, plant tlooto eine Reihe von Suchen, ruft Papers aus einem wissenschaftlichen Index ab, mit Autoren, Publikationsort, Jahr, DOI und Abstract, sichtet sie anhand Ihrer Kriterien und schreibt den Bericht aus den Papers, die bestanden haben. Jeder Satz trägt eine nummerierte Quellenangabe, und das Literaturverzeichnis entsteht aus denselben Datensätzen wie der Text, sodass beide immer übereinstimmen.
Das Literaturverzeichnis in einem tlooto-Bericht. Jeder Eintrag verlinkt auf seine DOI, und der Zitierstil lässt sich wechseln, ohne etwas neu zu schreiben.
Die Papers lesen Sie trotzdem selbst. tlooto nimmt Ihnen das wissenschaftliche Urteil nicht ab, und das soll es auch nicht. Aber Sie beginnen mit einer Liste von Quellen, die existieren, statt mit einem Absatz, den Sie erst zerlegen müssen.
Belegten tlooto-Bericht ansehen, ohne Anmeldung →
Eine einfache Regel für Ihre Arbeitsgruppe oder Ihren Kurs
Was sich nicht öffnen lässt, kommt nicht rein. Geben Sie diese Regel an alle weiter, die KI beim Schreiben nutzen. Sie ist einfach genug, um sie auch um 2 Uhr nachts zu behalten, und dann passieren die meisten dieser Fehler.
Literatur
[1] Walters, W. H., & Wilder, E. I. (2023). Fabrication and errors in the bibliographic citations generated by ChatGPT. Scientific Reports, 13. https://doi.org/10.1038/s41598-023-41032-5
[2] Asai, A., et al. (2024). OpenScholar: Synthesizing scientific literature with retrieval-augmented LMs. arXiv. https://arxiv.org/abs/2411.14199