tlooto: Ein evidenzbasierter Agentenarbeitsbereich für die wissenschaftliche Synthese und Manuskriptentwicklung
tlooto-Forschungsteam
Zusammenfassung
Hintergrund. Die wissenschaftliche Literatur wächst jährlich um etwa 4 % und eine einzelne systematische Überprüfung erfordert mehr als ein Jahr Expertenarbeit. Große Sprachmodelle (LLMs) versprechen Abhilfe, doch Frontier-Modelle fabrizieren die meisten wissenschaftlichen Zitate, die sie produzieren, und sogar auf Retrieval basierende kommerzielle Tools halluzinieren bei bis zu einem Drittel der Abfragen.
Ziel. Wir präsentieren tlooto, einen Forschungsarbeitsbereich, der Forschungsfragen aus der Literatur beantwortet und die Antwort in einem Manuskript entwickelt, das so gestaltet ist, dass jedes Zitat auf einen wissenschaftlichen Datensatz verweist, der für die Frage abgerufen wurde.
System. tlooto koordiniert Planung, wissenschaftliche Recherche, Literaturprüfung, Evidenzsynthese und Bearbeitung in einem einzigen Agenten-Workflow. Jede Phase wird dem Forscher so gezeigt, wie sie abläuft, und die Synthese bezieht ihre Zitate nur aus Arbeiten, die das Screening bestanden haben.
Fähigkeiten. Über die Beantwortung von Fragen hinaus bietet tlooto einen Editor im Papierformat mit Live-Zitaten, Tabellen, Abbildungen und Gleichungen in fünf Zitierstilen, direkter Papiersuche, einer persönlichen Bibliothek und einem Projektspeicher sowie Zeitschriftenempfehlungen, der den Forschungslebenszyklus von der Ideenfindung bis zur Einreichung abdeckt.
Bedeutung. tlooto macht die Zitierzuverlässigkeit zu einer Eigenschaft der Art und Weise, wie die Antwort erzeugt wird, und nicht zu etwas, das der Forscher anschließend überprüfen muss, und bringt die aufstrebende Klasse von Forschungsagenten in eine Form, die für die alltägliche wissenschaftliche Arbeit konzipiert ist.
Schlüsselwörter: Forschungsagenten; Abruf-erweiterte Generation; Zitatbegründung; Beweissynthese; Automatisierung der Literaturrecherche; wissenschaftliches Schreiben
1. Einleitung
1.1 Der Umfang der Literatur
Die wissenschaftliche Produktion wächst seit mehr als einem Jahrhundert kontinuierlich. Bornmann et al. schätzen das aktuelle Wachstum auf etwa 4,10 % pro Jahr, was einer Verdoppelungszeit von etwa 17 Jahren entspricht [1]. In der klinischen Medizin ist der Druck noch größer: Bereits im Jahr 2010 wurden täglich rund 75 Studien und 11 systematische Übersichtsarbeiten veröffentlicht [2] (Abbildung 1). Die manuelle Synthese dieser Beweise ist langsam und kostspielig; Von der Registrierung bis zur Veröffentlichung vergingen bei in PROSPERO registrierten systematischen Rezensionen durchschnittlich 67,3 Wochen [3].
Abbildung 1. Wachstum der wissenschaftlichen Literatur. (a) Die Publikationsleistung wurde mit der gemeldeten jährlichen Wachstumsrate von 4,1 % modelliert, was einer Verdoppelungszeit von etwa 17 Jahren entspricht. (b) Pro Tag veröffentlichte Studien und systematische Übersichten in der Medizin im Jahr 2010.
1.2 KI hält Einzug in die Forschungspraxis
Forscher haben darauf mit der Einführung von KI reagiert. In einer Nature-Umfrage unter mehr als 1.600 Wissenschaftlern erwartete die Mehrheit, dass KI-Tools für ihr Fachgebiet sehr wichtig oder unverzichtbar werden würden [4], und eine Analyse der veröffentlichten Aufzeichnungen ergab, dass LLM-modifizierte Inhalte in bis zu 17,5 % der jüngsten Informatikarbeiten enthalten waren [5]. Forschungsagenten sind schnell gefolgt: Sie synthetisieren wissenschaftliche Erkenntnisse [13] [14] [15], Entwürfe von Umfrageartikeln [16], Forschungsideen hervorbringen, die Experten als neuartiger einstufen als menschliche Ideen [19]und Hypothesen vorschlagen und testen [17] [18].
1.3 Die Zuverlässigkeitslücke
Allzweck-LLMs generieren jedoch fließende Aussagen, die von keiner Quelle unterstützt werden [6], und Zitate sind der Punkt, an dem dieser Fehler am sichtbarsten und am kostspieligsten ist. In der OpenScholar-Bewertung hat GPT-4o 78–90 % der von ihm erstellten wissenschaftlichen Zitate erfunden [15]. Retrieval allein schließt die Lücke nicht: Führende kommerzielle Recherchetools, die auf Retrieval basieren, halluzinierten immer noch bei 17–33 % der Suchanfragen [7] (Abbildung 2). Für Forscher ist ein Zitat, dem man nicht vertrauen kann, schlimmer als gar kein Zitat.
Abbildung 2. Gemeldete Raten gefälschter oder nicht unterstützter Zitate in aktuellen Bewertungen der KI-Forschungsunterstützung.
1.4 Beiträge
In diesem Artikel wird tlooto beschrieben, ein System, das so aufgebaut ist, dass Forscher sich auf seine Zitate verlassen können. Unsere Beiträge sind:
- Evidenzbasierte Synthese, in dem ein Bericht nur Papiere zitiert, die für die vorliegende Frage abgerufen und überprüft wurden (Abschnitt 3).
- Ein Agenten-Recherche-Workflow das in einem kontinuierlichen Prozess plant, abruft, überprüft, synthetisiert und bearbeitet (Abschnitt 4).
- Ein transparenter Arbeitsprozess das dem Forscher jeden Plan, jede Anfrage, jede Screening-Entscheidung und jedes Zwischenergebnis in Echtzeit anzeigt (Abschnitt 4.4).
- Eine integrierte Manuskriptumgebung Dies führt die zitierten Beweise in einen vollständigen Herausgeber und weiter zur Zeitschriftenauswahl (Abschnitt 5).
2. Verwandte Arbeiten
2.1 Retrieval-erweiterte und zitierungsbewusste Generierung
Retrieval-Augmented Generation (RAG) konditioniert ein Sprachmodell für Dokumente, die zum Zeitpunkt der Inferenz abgerufen werden [8] und ist zum vorherrschenden Ansatz für wissensintensive Aufgaben geworden [9]. Gao et al. zeigte, dass Modelle veranlasst und ausgewertet werden können, Zitate an die Passagen anzuhängen, die jede Aussage stützen [10]. Agentische Formulierungen verschränken das Denken mit dem Einsatz von Werkzeugen [11], aufbauend auf der Aufforderung zur Gedankenkette [12].
2.2 Rechercheagenten für wissenschaftliche Literatur
PaperQA hat einen Agenten eingeführt, der Volltextarbeiten zur Beantwortung wissenschaftlicher Fragen abruft [13]und PaperQA2 berichteten über eine Synthese wissenschaftlicher Erkenntnisse, die die Expertenleistung bei ihren Benchmarks übertraf [14]. OpenScholar kombinierte ein großes Open-Access-Korpus mit einem abrufgestützten Modell und Selbstfeedback, um Literaturfragen mit Zitaten zu beantworten [15]. AutoSurvey erstellt vollständige Umfrageartikel [16], während The AI Scientist [17] und KI-Co-Wissenschaftler [18] Erweitern Sie Agenten auf die Ideengenerierung, das Experimentieren und das Testen von Hypothesen.
2.3 Automatisierung der Beweissynthese
Maschinelles Lernen unterstützt seit langem die Screening-Phase systematischer Überprüfungen [20]. Aktive Lerntools wie ASReview reduzieren die Anzahl der Datensätze, die Prüfer lesen müssen, erheblich [21]Das LLM-basierte Screening klinischer Bewertungen hat eine hohe Übereinstimmung mit menschlichen Entscheidungen erzielt [22]. Berichtsstandards wie PRISMA 2020 beschreiben die Phasen, die solche Tools beschleunigen [23].
2.4 Positionierung
Tabelle 1 stellt tlooto den Tools gegenüber, die Forscher heute am häufigsten verwenden. tlooto kombiniert Agentenabruf und -screening, zitierungsbasierte Synthese, einen sichtbaren Argumentationsprozess und eine vollständige Schreibumgebung in einem einzigen Arbeitsbereich, der für die tägliche Recherche konzipiert ist.
Tabelle 1. Leistungsvergleich mit Tools, die Forscher häufig verwenden.
| Fähigkeit |
Allgemeiner KI-Chatbot |
Akademische Suchmaschine |
tlooto |
| Beantwortet eine Forschungsfrage in Prosa |
Ja |
Nein |
Ja |
| Ansprüche, die auf abgerufenen Papieren beruhen |
Nein |
Nicht zutreffend |
Ja |
| Zitate aus abgerufenen Datensätzen |
Nein |
Nicht zutreffend |
Ja |
| Screening anhand expliziter Kriterien |
Nein |
Nein |
Ja |
| Für den Benutzer sichtbarer Schritt-für-Schritt-Prozess |
Nein |
Nein |
Ja (Arbeitsprozess) |
| Manuskripteditor mit Live-Zitaten |
Nein |
Nein |
Ja |
| Fünf Zitierstile, PDF- und DOCX-Export |
Nein |
Nur Export |
Ja |
| Bibliothek, Projekte und wiederverwendbare Beweise |
Nein |
Nur Bibliothek |
Ja |
| Zeitschriftenempfehlung |
Nein |
Nein |
Ja |
3. Evidenzbasierte Synthese
Lass $q$ eine Forschungsfrage bezeichnen. tlooto gibt eine Reihe von Suchanfragen aus $Q(q)$ und sammelt die abgerufenen Datensätze
$$R(q) = \bigcup_{k \in Q(q)} \operatorname{retrieve}(k)$$
Beim Screening werden Einschlusskriterien angewendet $\phi$ leitet sich aus der Frage ab und behält die Beweislage bei
$$E(q) = {, r \in R(q) : \phi(r, q) = 1 ,}$$
Der Bericht $A$ wird als eine Folge von Anweisungen geschrieben $s_1, \dots, s_n$, jeweils mit einem Zitatsatz versehen $c(s_i)$. tlooto basiert auf dem Prinzip der Quellenverankerung
$$\bigcup_{i=1}^{n} c(s_i) ;\subseteq; E(q) ;\subseteq; R(q)$$
sodass die Referenzliste eines Berichts auf denselben wissenschaftlichen Aufzeichnungen basiert, auf deren Grundlage die Antwort verfasst wurde. Denn jede Aufnahme in $R(q)$ stammt aus einem wissenschaftlichen Index mit seinem DOI und seinen bibliografischen Metadaten. Die Zitate in einem tlooto-Bericht führen zu vorhandenen Artikeln, die der Forscher öffnen kann.
4. Der tlooto-Workflow
Abbildung 3. Der tlooto-Workflow von der Forschungsfrage bis zum Manuskript. Screening und Synthese werden hervorgehoben; Der Arbeitsprozess macht jede Phase für den Forscher sichtbar.
4.1 Planung und wissenschaftliche Recherche
tlooto interpretiert die Frage zunächst zusammen mit allen vom Forscher bereitgestellten Umfangs-, Disziplin- und Einschlusskriterien und unterteilt sie in komplementäre Suchabsichten. Anstatt eine einzige Abfrage auszugeben, werden pro Absicht mehrere neu formulierte Abfragen anhand eines wissenschaftlichen Index ausgeführt und die Ergebnisse zusammengeführt. Jeder abgerufene Datensatz trägt seinen Autor, Veranstaltungsort, Jahr, Abstract und DOI.
4.2 Literaturscreening
Jeder Kandidat wird anhand expliziter Einschlusskriterien bewertet, die aus der Frage abgeleitet werden und die Screening-Phase einer systematischen Überprüfung widerspiegeln [20] [21] [22] [23]. Die bestandenen Arbeiten werden geordnet und als fokussierter Beweissatz und nicht als bloße Liste von Suchergebnissen an die Synthese weitergeleitet.
4.3 Beweissynthese
Der Bericht wird anhand der geprüften Unterlagen verfasst. Jede Aussage trägt ein nummeriertes Zitat und die Referenzliste wird aus denselben Datensätzen erstellt, sodass Text und Bibliographie immer übereinstimmen. Folgefragen bauen auf den bereits gesammelten Beweisen auf, so dass die Untersuchung vertieft und nicht neu gestartet wird.
4.4 Der Arbeitsprozess
Jeder Plan, jede Anfrage, jede Screening-Entscheidung und jedes Zwischenergebnis wird dem Forscher im Arbeitsablauf-Panel übermittelt. Forscher können sehen, was durchsucht wurde, welche Dokumente aufbewahrt wurden und wie die Antwort zusammengestellt wurde, und die Argumentation des Systems in eine Aufzeichnung umwandeln, der sie folgen und sie mit ihren eigenen Methoden zitieren können.
4.5 Forschungsredakteur
Mit einer Aktion wird der Bericht im Research Editor geöffnet, einem Editor im Papierformat, der Überschriften, Tabellen, Abbildungen, Gleichungen und Live-Zitatobjekte unterstützt. Zitate werden beim Verschieben des Textes automatisch neu nummeriert, in APA, MLA, Harvard, Chicago oder ISO 690 gerendert und zusammen mit dem Manuskript in PDF oder DOCX exportiert. Forscher können tlooto damit beauftragen, Abschnitte zu überarbeiten, zu erweitern oder neu zu strukturieren, wobei jedes Zitat seiner Quelle zugeordnet bleibt.
Tabelle 2. Phasen des tlooto-Workflows und was der Forscher jeweils erhält.
| Bühne |
Was tlooto macht |
Was der Forscher sieht |
| Planung |
Interpretiert die Frage, den Umfang und die Kriterien |
Suchabsichten im Arbeitsprozess |
| Abruf |
Führt mehrere Abfragen für einen wissenschaftlichen Index aus |
Abgerufene Artikel mit DOI und Metadaten |
| Vorführung |
Wendet Einschlusskriterien an und bewertet Arbeiten |
Welche Papiere wurden aufbewahrt und warum |
| Synthese |
Verfasst aus den aufbewahrten Unterlagen einen strukturierten Bericht |
Zitierter Bericht mit passender Referenzliste |
| Bearbeiten |
Entwickelt den Bericht zu einem Manuskript |
Entwurf im Papierformat mit Live-Zitaten |
5. Abdeckung des Forschungslebenszyklus
Abbildung 4. Forschungsphasen, unterstützt durch einen allgemeinen KI-Chatbot, eine akademische Suchmaschine und tlooto.
tlooto ist als ein Arbeitsbereich für das gesamte Projekt konzipiert und nicht als Einzelzweck-Tool (Abbildung 4, Tabelle 3). Fragen, gespeicherte Arbeiten und hochgeladene Dateien sammeln sich in Projekten und der Bibliothek an, sodass spätere Fragen auf früheren Beweisen aufbauen, anstatt eine neue Suche zu starten.
Tabelle 3. Von tlooto unterstützte Forschungsaufgaben.
| Forschungsaufgabe |
Was tlooto liefert |
Wo |
| Eine Forschungsfrage formulieren |
Kandidatenfragen und theoretische Perspektiven mit unterstützender Literatur |
Bericht |
| Literaturüberblick |
Karte der Perspektiven, Konsens und Debatten, vollständig zitiert |
Bericht, Papiersuche |
| Lückenanalyse |
Untererforschte Gebiete mit den Beweisen, die sie definieren |
Bericht |
| Methodik |
Entwürfe, Maßnahmen und Analysen im Zusammenhang mit Studien, in denen sie verwendet wurden |
Bericht |
| Beweismanagement |
Gespeicherte Dokumente, hochgeladene Dateien und wiederverwendbare Beweise |
Meine Bibliothek, Projekte |
| Manuskripterstellung |
Entwürfe im Papierformat mit Live-Zitaten, Tabellen, Abbildungen und Gleichungen |
Forschungsredakteur |
| Referenzierung |
Fünf Zitierstile, automatische Neunummerierung, PDF- und DOCX-Export |
Forschungsredakteur |
| Auswahl des Veranstaltungsortes |
Auf das Manuskript abgestimmte Zeitschriftenempfehlungen |
AI Journal Finder |
Tabelle 4. Beispielfragen und die Berichtsstruktur, die tlooto erstellt.
| Fragetyp |
Beispielfrage |
Berichtsstruktur |
| Forschungsfrage |
Wie verändert generative KI die Wissensarbeit in Berufsorganisationen? |
Perspektiven, Kandidatenfragen, unterstützende Studien |
| Forschungslücke |
Was bleibt in der Forschung zur KI-Einführung in Organisationen noch unzureichend erforscht? |
Lücken, warum sie wichtig sind und wie man sie angeht |
| Literaturüberblick |
Wie hat sich die Forschung zur Plattform-Ökosystem-Governance im Laufe von fünf Jahren entwickelt? |
Themen, Vereinbarungen, Debatten, Verlauf |
| Evidenz |
Verbessern KI-Investitionen die Unternehmensleistung? |
Unterstützende und widersprüchliche Erkenntnisse, Moderatoren |
| Methodik |
Vermittelt psychologische Sicherheit die Einführung von KI und die Arbeitszufriedenheit? |
Design, Maßnahmen, Probenahme, Analyseplan |
6. Diskussion
Die zentrale Entwurfsentscheidung in tlooto besteht darin, die Begründung von Zitaten als Teil der Art und Weise zu behandeln, wie eine Antwort erstellt wird, und nicht als eine nachträgliche Überprüfung. Auswertungen abrufbasierter kommerzieller Tools zeigen, dass der Abruf allein immer noch erhebliche Fehler verursacht [7]; tlooto fügt eine explizite Überprüfung hinzu und erstellt die Referenzen jedes Berichts aus den überprüften Papieren. Außerdem wird der gesamte Prozess offengelegt, sodass Forscher sehen können, wie zu jeder Schlussfolgerung gelangt wurde.
Die zweite Entscheidung ist die Integration. Forschungsagenten haben gezeigt, dass Maschinen Literatur auf Expertenebene synthetisieren können [14] [15] und starke Forschungsideen generieren [19], doch die Arbeit eines Forschers endet nicht mit einer Antwort. tlooto überträgt die Beweise direkt in das Manuskript, hält Zitate während der Überarbeitung am Leben und unterstützt die Zeitschriftenauswahl, sodass die bei der Suche und Durchsicht eingesparte Zeit nicht wieder durch Formatierung und Referenzierung verloren geht.
Zusammengenommen machen diese Entscheidungen tlooto zu einem praktischen Forschungspartner für die in Abschnitt 1 beschriebene Arbeitsbelastung: jemanden, der ausführlich liest, getreu zitiert und in der Form schreibt, die die Wissenschaft erfordert.
7. Fazit
Die Literatur wächst mittlerweile schneller, als jeder Forscher lesen kann, und der Allzweck-KI kann man noch keine Referenzen anvertrauen. tlooto geht beide Probleme mit einem Agenten-Arbeitsbereich an, der vor dem Schreiben Daten abruft und überprüft, jede Referenzliste aus den von ihm aufbewahrten Arbeiten erstellt, seine Arbeit Schritt für Schritt zeigt und das Ergebnis in einem einzigen Arbeitsbereich zu einem Manuskript entwickelt.
