विश्वविद्यालयोंशिक्षण संस्थानोंअनुसंधान संस्थानोंनिजी कंपनियोंविश्वविद्यालयोंके शोध के लिए अकादमिक AIस्थापना शुल्क शून्य

tlooto: विद्वानों के संश्लेषण और पांडुलिपि विकास के लिए एक साक्ष्य-आधारित एजेंट कार्यक्षेत्र

tlooto रिसर्च टीम

सार

पृष्ठभूमि. विद्वतापूर्ण साहित्य प्रति वर्ष लगभग 4% की दर से बढ़ता है, और एक व्यवस्थित समीक्षा में विशेषज्ञ प्रयास के एक वर्ष से अधिक समय लगता है। बड़े भाषा मॉडल (एलएलएम) राहत का वादा करते हैं, फिर भी सीमांत मॉडल अपने द्वारा उत्पादित अधिकांश वैज्ञानिक उद्धरणों को गढ़ते हैं, और यहां तक ​​कि पुनर्प्राप्ति-आधारित वाणिज्यिक उपकरण भी एक तिहाई प्रश्नों में भ्रम पैदा करते हैं।

उद्देश्य. हम tlooto प्रस्तुत करते हैं, एक शोध कार्यक्षेत्र जो साहित्य से शोध प्रश्नों का उत्तर देता है और उत्तर को एक पांडुलिपि में विकसित करता है, जिसे डिज़ाइन किया गया है ताकि प्रत्येक उद्धरण प्रश्न के लिए पुनर्प्राप्त विद्वान रिकॉर्ड को इंगित कर सके।

सिस्टम. tlooto एक ही एजेंटिक वर्कफ़्लो में योजना, विद्वत्तापूर्ण पुनर्प्राप्ति, साहित्य स्क्रीनिंग, साक्ष्य संश्लेषण और संपादन का समन्वय करता है। प्रत्येक चरण को शोधकर्ता को वैसे ही दिखाया जाता है जैसे वह होता है, और संश्लेषण अपने उद्धरण केवल उन कागजात से लेता है जो स्क्रीनिंग में उत्तीर्ण हुए हैं।

क्षमताएं। सवालों के जवाब देने के अलावा, tlooto पांच उद्धरण शैलियों में लाइव उद्धरण, तालिकाओं, आंकड़ों और समीकरणों, प्रत्यक्ष पेपर खोज, एक व्यक्तिगत पुस्तकालय और प्रोजेक्ट मेमोरी और जर्नल अनुशंसा के साथ एक पेपर-प्रारूप संपादक प्रदान करता है, जो अनुसंधान जीवनचक्र को विचार से प्रस्तुत करने तक कवर करता है।

महत्व. tlooto उद्धरण की विश्वसनीयता को इस बात का गुण बनाता है कि उत्तर कैसे तैयार किया जाता है, न कि किसी चीज़ को जिसे शोधकर्ता को बाद में सत्यापित करना होता है, और अनुसंधान एजेंटों के उभरते वर्ग को रोजमर्रा के विद्वानों के काम के लिए डिज़ाइन किए गए रूप में लाता है।

कीवर्ड: अनुसंधान एजेंट; पुनर्प्राप्ति-संवर्धित पीढ़ी; उद्धरण ग्राउंडिंग; साक्ष्य संश्लेषण; साहित्य समीक्षा स्वचालन; विद्वत्तापूर्ण लेखन

1. परिचय

1.1 साहित्य का पैमाना

एक शताब्दी से भी अधिक समय से वैज्ञानिक उत्पादन लगातार बढ़ा है। बोर्नमैन एट अल. वर्तमान वृद्धि का अनुमान लगभग 4.10% प्रति वर्ष है, जो लगभग 17 वर्षों का दोगुना समय है [1]. क्लिनिकल चिकित्सा में दबाव अभी भी तीव्र है: पहले से ही 2010 में, लगभग 75 परीक्षण और 11 व्यवस्थित समीक्षाएँ हर दिन प्रकाशित की गईं [2] (चित्र 1). इस साक्ष्य को हाथ से संश्लेषित करना धीमा और महंगा है; PROSPERO में पंजीकृत व्यवस्थित समीक्षाओं में पंजीकरण से प्रकाशन तक औसतन 67.3 सप्ताह का समय लगा [3].

चित्र 1. वैज्ञानिक साहित्य का विकास। (ए) प्रकाशन आउटपुट 4.1% की रिपोर्ट की गई वार्षिक वृद्धि दर पर आधारित है, जो लगभग 17 वर्षों का दोगुना समय है। (बी) 2010 में चिकित्सा में प्रतिदिन प्रकाशित परीक्षण और व्यवस्थित समीक्षाएँ।

1.2 एआई अनुसंधान अभ्यास में प्रवेश करता है

शोधकर्ताओं ने एआई को अपनाकर जवाब दिया है। 1,600 से अधिक वैज्ञानिकों के एक प्रकृति सर्वेक्षण में, बहुमत ने उम्मीद की कि एआई उपकरण उनके क्षेत्र के लिए बहुत महत्वपूर्ण या आवश्यक बन जाएंगे [4], और प्रकाशित रिकॉर्ड के विश्लेषण में हाल के कंप्यूटर-विज्ञान पत्रों में 17.5% तक एलएलएम-संशोधित सामग्री पाई गई [5]. अनुसंधान एजेंटों ने तेजी से अनुसरण किया है: वे वैज्ञानिक ज्ञान का संश्लेषण करते हैं [13] [14] [15], मसौदा सर्वेक्षण लेख [16], ऐसे शोध विचार उत्पन्न करें जिन्हें विशेषज्ञ समीक्षक मानवीय विचारों की तुलना में अधिक नवीन मानते हैं [19], और परिकल्पनाओं का प्रस्ताव और परीक्षण करें [17] [18].

1.3 विश्वसनीयता अंतर

हालाँकि, सामान्य प्रयोजन एलएलएम धाराप्रवाह बयान उत्पन्न करते हैं जिनका कोई स्रोत समर्थन नहीं करता है [6], और उद्धरण वह हैं जहां यह विफलता सबसे अधिक दिखाई देती है और सबसे महंगी है। ओपनस्कॉलर मूल्यांकन में, GPT-4o ने अपने द्वारा उत्पादित 78-90% वैज्ञानिक उद्धरण गढ़े [15]. अकेले पुनर्प्राप्ति से अंतर समाप्त नहीं होता है: पुनर्प्राप्ति पर निर्मित प्रमुख व्यावसायिक अनुसंधान उपकरण अभी भी 17-33% प्रश्नों में मतिभ्रम करते हैं [7] (चित्र 2)। शोधकर्ताओं के लिए, जिस उद्धरण पर भरोसा नहीं किया जा सकता वह उद्धरण न होने से भी बदतर है।

चित्र 2. एआई अनुसंधान सहायता के हालिया मूल्यांकन में मनगढ़ंत या असमर्थित उद्धरणों की रिपोर्ट की गई दरें।

1.4 योगदान

यह पेपर tlooto का वर्णन करता है, जो एक ऐसी प्रणाली बनाई गई है ताकि शोधकर्ता इसके उद्धरणों पर भरोसा कर सकें। हमारे योगदान हैं:

1. साक्ष्य-आधारित संश्लेषण, जिसमें एक रिपोर्ट केवल मौजूदा प्रश्न के लिए पुनर्प्राप्त और जांचे गए कागजात का हवाला देती है (धारा 3)।
2. एक एजेंटिक अनुसंधान कार्यप्रवाह जो एक सतत प्रक्रिया में योजना बनाता है, पुनर्प्राप्त करता है, स्क्रीन करता है, संश्लेषण करता है और संपादन करता है (धारा 4)।
3. एक पारदर्शी कार्य प्रक्रिया जो शोधकर्ता को वास्तविक समय में प्रत्येक योजना, क्वेरी, स्क्रीनिंग निर्णय और मध्यवर्ती परिणाम दिखाता है (धारा 4.4)।
4. एक एकीकृत पांडुलिपि वातावरण जो एक पूर्ण संपादक और पत्रिका चयन (धारा 5) में उद्धृत साक्ष्य प्रदान करता है।

2. सम्बंधित कार्य

2.1 पुनर्प्राप्ति-संवर्धित और उद्धरण-जागरूक पीढ़ी

पुनर्प्राप्ति-संवर्धित पीढ़ी (आरएजी) अनुमान के समय प्राप्त दस्तावेजों पर एक भाषा मॉडल की स्थिति बनाती है [8] और ज्ञान-गहन कार्यों के लिए प्रमुख दृष्टिकोण बन गया है [9]. गाओ एट अल. दिखाया गया कि प्रत्येक कथन का समर्थन करने वाले अंशों में उद्धरण संलग्न करने के लिए मॉडलों को प्रेरित और मूल्यांकन किया जा सकता है [10]. एजेंटिक फॉर्मूलेशन उपकरण के उपयोग के साथ तर्क को जोड़ते हैं [11], विचार-श्रृंखला की प्रेरणा पर निर्माण [12].

2.2 वैज्ञानिक साहित्य के लिए अनुसंधान एजेंट

पेपरक्यूए ने एक एजेंट पेश किया जो वैज्ञानिक प्रश्नों के उत्तर देने के लिए पूर्ण-पाठ्यपत्रों को पुनः प्राप्त करता है [13], और पेपरक्यूए2 ने वैज्ञानिक ज्ञान के संश्लेषण की सूचना दी जो अपने बेंचमार्क पर विशेषज्ञ के प्रदर्शन से बेहतर था [14]. ओपनस्कॉलर ने उद्धरणों के साथ साहित्यिक प्रश्नों का उत्तर देने के लिए पुनर्प्राप्ति-संवर्धित मॉडल और स्व-प्रतिक्रिया के साथ एक बड़े ओपन-एक्सेस कॉर्पस को संयोजित किया। [15]. ऑटोसर्वेक्षण पूर्ण सर्वेक्षण लेखों का मसौदा तैयार करता है [16], जबकि एआई वैज्ञानिक [17] और एआई सह-वैज्ञानिक [18] विचार निर्माण, प्रयोग और परिकल्पना परीक्षण के लिए एजेंटों का विस्तार करें।

2.3 साक्ष्य संश्लेषण का स्वचालन

मशीन लर्निंग ने लंबे समय से व्यवस्थित समीक्षाओं के स्क्रीनिंग चरण का समर्थन किया है [20]. ASReview जैसे सक्रिय-शिक्षण उपकरण समीक्षकों द्वारा पढ़े जाने वाले रिकॉर्ड की संख्या को काफी हद तक कम कर देते हैं [21], और नैदानिक ​​समीक्षाओं की एलएलएम-आधारित स्क्रीनिंग ने मानवीय निर्णयों के साथ उच्च सहमति प्राप्त की है [22]. PRISMA 2020 जैसे रिपोर्टिंग मानक उन चरणों का वर्णन करते हैं जिनमें ऐसे उपकरण तेजी लाते हैं [23].

2.4 पोजिशनिंग

तालिका 1 उन उपकरणों के साथ tlooto की तुलना करती है जिनका उपयोग शोधकर्ता आज सबसे अधिक बार करते हैं। tlooto दैनिक अनुसंधान के लिए निर्मित एकल कार्यक्षेत्र में एजेंटिक पुनर्प्राप्ति और स्क्रीनिंग, उद्धरण-आधारित संश्लेषण, एक दृश्य तर्क प्रक्रिया और एक पूर्ण लेखन वातावरण को जोड़ता है।

तालिका 1. शोधकर्ताओं द्वारा आमतौर पर उपयोग किए जाने वाले उपकरणों के साथ क्षमता की तुलना।

3. साक्ष्य-आधारित संश्लेषण

चलो $q$ एक शोध प्रश्न को निरूपित करें। tlooto खोज क्वेरी का एक सेट जारी करता है $Q(q)$ और पुनर्प्राप्त अभिलेखों को एकत्रित करता है

$$R(q) = \bigcup_{k \in Q(q)} \operatorname{retrieve}(k)$$

स्क्रीनिंग समावेशन मानदंड लागू करती है $\phi$ प्रश्न से प्राप्त होता है और साक्ष्य सेट रखता है

$$E(q) = {, r \in R(q) : \phi(r, q) = 1 ,}$$

रिपोर्ट $A$ कथनों के अनुक्रम के रूप में लिखा जाता है $s_1, \dots, s_n$, प्रत्येक के पास एक उद्धरण सेट है $c(s_i)$. tlooto को ग्राउंडिंग सिद्धांत के आसपास डिज़ाइन किया गया है

$$\bigcup_{i=1}^{n} c(s_i) ;\subseteq; E(q) ;\subseteq; R(q)$$

ताकि किसी रिपोर्ट की संदर्भ सूची उन्हीं विद्वानों के रिकॉर्ड से बनाई जा सके जिनसे उत्तर लिखा गया था। क्योंकि हर रिकॉर्ड में $R(q)$ अपने डीओआई और ग्रंथसूची मेटाडेटा के साथ एक विद्वान सूचकांक से आता है, एक tlooto रिपोर्ट में उद्धरण उन कागजात तक ले जाते हैं जो मौजूद हैं और शोधकर्ता खोल सकते हैं।

4. tlooto वर्कफ़्लो

चित्र 3. शोध प्रश्न से पांडुलिपि तक का कार्यप्रवाह। स्क्रीनिंग और संश्लेषण पर प्रकाश डाला गया है; कार्य प्रक्रिया प्रत्येक चरण को शोधकर्ता के लिए दृश्यमान बनाती है।

4.1 योजना और विद्वत्तापूर्ण पुनर्प्राप्ति

tlooto पहले शोधकर्ता द्वारा प्रदान किए गए किसी भी दायरे, अनुशासन और समावेशन मानदंड के साथ प्रश्न की व्याख्या करता है, और इसे पूरक खोज उद्देश्यों में तोड़ देता है। एक एकल क्वेरी जारी करने के बजाय, यह एक विद्वान सूचकांक के विरुद्ध प्रति इरादे से कई सुधारित क्वेरी चलाता है और परिणामों को मर्ज करता है। प्रत्येक पुनर्प्राप्त रिकॉर्ड में उसके लेखक, स्थान, वर्ष, सार और डीओआई शामिल होते हैं।

4.2 साहित्य स्क्रीनिंग

प्रत्येक उम्मीदवार का मूल्यांकन प्रश्न से लिए गए स्पष्ट समावेशन मानदंडों के आधार पर किया जाता है, जो एक व्यवस्थित समीक्षा के स्क्रीनिंग चरण को प्रतिबिंबित करता है [20] [21] [22] [23]. जो पेपर पास हो जाते हैं उन्हें रैंक किया जाता है और खोज परिणामों की कच्ची सूची के बजाय एक केंद्रित साक्ष्य सेट के रूप में संश्लेषण के लिए पास किया जाता है।

4.3 साक्ष्य संश्लेषण

रिपोर्ट जांचे गए कागजात से लिखी गई है। प्रत्येक कथन में एक क्रमांकित उद्धरण होता है, और संदर्भ सूची उसी रिकॉर्ड से उत्पन्न होती है, इसलिए मुख्य भाग और ग्रंथ सूची हमेशा सहमत होती है। अनुवर्ती प्रश्न पहले से एकत्र किए गए सबूतों पर आधारित होते हैं, इसलिए जांच की श्रृंखला फिर से शुरू होने के बजाय और गहरी हो जाती है।

4.4 कार्य प्रक्रिया

प्रत्येक योजना, क्वेरी, स्क्रीनिंग निर्णय और मध्यवर्ती परिणाम कार्य प्रक्रिया पैनल में शोधकर्ता को स्ट्रीम किया जाता है। शोधकर्ता यह देख सकते हैं कि क्या खोजा गया था, कौन से कागजात रखे गए थे और उत्तर कैसे इकट्ठा किया गया था, सिस्टम के तर्क को एक रिकॉर्ड में बदल दिया गया था जिसका वे अनुसरण कर सकते हैं और अपने तरीकों से उद्धृत कर सकते हैं।

4.5 शोध संपादक

एक कार्रवाई के साथ रिपोर्ट रिसर्च एडिटर में खुलती है, एक पेपर-प्रारूप संपादक जो शीर्षकों, तालिकाओं, आंकड़ों, समीकरणों और लाइव उद्धरण वस्तुओं का समर्थन करता है। जैसे ही पाठ चलता है, उद्धरण स्वचालित रूप से पुन: क्रमांकित हो जाते हैं, एपीए, एमएलए, हार्वर्ड, शिकागो या आईएसओ 690 में प्रस्तुत होते हैं, और पांडुलिपि के साथ पीडीएफ या डीओसीएक्स पर निर्यात होते हैं। शोधकर्ता tlooto को अनुभागों को संशोधित करने, विस्तारित करने या पुनर्गठित करने के लिए कह सकते हैं, जबकि प्रत्येक उद्धरण अपने स्रोत से जुड़ा रहता है।

तालिका 2. टूtlooto वर्कफ़्लो के चरण और शोधकर्ता को प्रत्येक में क्या प्राप्त होता है।

5. अनुसंधान जीवनचक्र का कवरेज

चित्र 4. एक सामान्य एआई चैटबॉट, एक अकादमिक खोज इंजन और टूtlooto द्वारा समर्थित अनुसंधान चरण।

tlooto को एकल-उद्देश्यीय उपकरण (चित्रा 4, तालिका 3) के बजाय पूरे प्रोजेक्ट के लिए एक कार्यक्षेत्र के रूप में डिज़ाइन किया गया है। प्रश्न, सहेजे गए दस्तावेज़ और अपलोड की गई फ़ाइलें प्रोजेक्ट और लाइब्रेरी में जमा हो जाती हैं, इसलिए बाद के प्रश्न नई खोज शुरू करने के बजाय पहले के साक्ष्य पर आधारित होते हैं।

तालिका 3. tlooto द्वारा समर्थित अनुसंधान कार्य।

तालिका 4. उदाहरण प्रश्न और रिपोर्ट संरचना जिसे टूtlooto तैयार करता है।

6. चर्चा

टूtlooto में केंद्रीय डिज़ाइन निर्णय उद्धरण ग्राउंडिंग को बाद में लागू किए गए चेक के बजाय उत्तर तैयार करने के तरीके के रूप में मानना है। पुनर्प्राप्ति-आधारित वाणिज्यिक उपकरणों के मूल्यांकन से पता चलता है कि पुनर्प्राप्ति अपने आप में अभी भी पर्याप्त त्रुटि छोड़ती है [7]; tlooto स्पष्ट स्क्रीनिंग जोड़ता है और जांचे गए कागजात से प्रत्येक रिपोर्ट का संदर्भ बनाता है, और यह पूरी प्रक्रिया को उजागर करता है ताकि शोधकर्ता देख सकें कि हर निष्कर्ष पर कैसे पहुंचा गया।

दूसरा निर्णय है एकीकरण. अनुसंधान एजेंटों ने दिखाया है कि मशीनें विशेषज्ञ स्तर पर साहित्य का संश्लेषण कर सकती हैं [14] [15] और मजबूत शोध विचार उत्पन्न करें [19], फिर भी एक शोधकर्ता का कार्य उत्तर के साथ समाप्त नहीं होता है। tlooto साक्ष्य को सीधे पांडुलिपि में ले जाता है, उद्धरणों को संशोधन के माध्यम से लाइव रखता है और जर्नल चयन का समर्थन करता है, ताकि खोज और स्क्रीनिंग में बचाया गया समय प्रारूपण और संदर्भ में फिर से बर्बाद न हो।

ये विकल्प मिलकर उसे धारा 1 में वर्णित कार्यभार के लिए एक व्यावहारिक अनुसंधान भागीदार बनाते हैं: एक ऐसा व्यक्ति जो व्यापक रूप से पढ़ता है, ईमानदारी से उद्धृत करता है और उस रूप में लिखता है जिसके लिए छात्रवृत्ति की आवश्यकता होती है।

7. निष्कर्ष

साहित्य अब किसी भी शोधकर्ता द्वारा पढ़े जाने की तुलना में तेजी से बढ़ता है, और सामान्य प्रयोजन एआई पर अभी भी संदर्भों पर भरोसा नहीं किया जा सकता है। tlooto एक एजेंटिक कार्यक्षेत्र के साथ दोनों समस्याओं का समाधान करता है जो लिखने से पहले पुनर्प्राप्त करता है और स्क्रीन करता है, रखे गए कागजात से प्रत्येक संदर्भ सूची बनाता है, अपने काम को चरण दर चरण दिखाता है, और परिणाम को एक ही कार्यक्षेत्र के भीतर पांडुलिपि में विकसित करता है।