Sechs Prüfungen, zwei Arten von Tools. Illustrativ.
In einer Nature-Umfrage unter mehr als 1.600 Forschenden erwarteten viele, dass KI-Tools für ihre Arbeit wichtig oder unverzichtbar werden [1]. Die Frage ist nicht mehr, ob Sie KI in der Forschung nutzen, sondern welches Tool Sie rechtfertigen können, wenn Betreuung, Gutachtende oder Prüfende fragen, wie eine Aussage zustande kam.
Diese sechs Fragen gelten für jedes Tool, auch für unseres.
1. Woher kommen die Aussagen?
Aus dem Gedächtnis des Modells oder aus Papers, die für Ihre Frage abgerufen wurden? Nur Letzteres lässt sich überprüfen.
2. Kann ich jede Quelle öffnen?
Jede Referenz sollte zu einem echten Paper führen, idealerweise mit DOI. In einer Studie waren 55 % der Quellen von GPT-3.5 und 18 % der Quellen von GPT-4 erfunden [2]. Was Sie nicht öffnen können, zitieren Sie nicht.
3. Kann ich sehen, wie die Antwort entstanden ist?
Welche Suchen wurden ausgeführt, welche Papers behalten und warum? Einen Prozess, den Sie sehen, können Sie auch in Ihrem Methodenteil beschreiben.
4. Wendet es Kriterien an oder sortiert es nur nach Relevanz?
Das Screening anhand expliziter Einschlusskriterien unterscheidet Evidenz von Suchergebnissen.
5. Bleiben die Belege beim Schreiben verknüpft?
Wenn Zitate kaputtgehen, sobald Sie Text in ein Dokument übertragen, folgen Fehler. Achten Sie auf aktive Zitate in der Schreibumgebung und auf gängige Zitierstile.
6. Baut eine Folgefrage auf dem Gefundenen auf?
Echte Forschungsfragen kommen in Ketten. Ein Tool, das jedes Mal bei null beginnt, verschwendet Ihre Evidenz und Ihre Zeit.
tlooto wurde entlang dieser sechs Fragen entworfen: abgerufene Papers mit DOIs, Screening anhand Ihrer Kriterien, ein sichtbarer Arbeitsprozess, aktive Zitate im Research Editor und Folgefragen, die auf der bereits gesammelten Evidenz aufbauen. Messen Sie tlooto und jedes andere Tool, das Sie in Betracht ziehen, am selben Maßstab.
Die sechs Prüfungen selbst an tlooto durchführen →
Literatur
[1] Van Noorden, R., & Perkel, J. M. (2023). AI and science: what 1,600 researchers think. Nature, 621. https://doi.org/10.1038/d41586-023-02980-0
[2] Walters, W. H., & Wilder, E. I. (2023). Fabrication and errors in the bibliographic citations generated by ChatGPT. Scientific Reports, 13. https://doi.org/10.1038/s41598-023-41032-5