अक्सर ऐसा होता है। ड्राफ़्ट दो दिन में जमा करना है, चैटबॉट ने चार संदर्भों के साथ एक साफ़-सुथरा पैराग्राफ़ लिख दिया है, और तीसरा संदर्भ एकदम परफ़ेक्ट दिखता है। असली लगने वाले लेखक। सही फ़ील्ड का जर्नल। प्रकाशन वर्ष 2021। चालीस मिनट की खोज के बाद आप मान लेते हैं कि यह पेपर कभी लिखा ही नहीं गया।
यह कोई इक्का-दुक्का गड़बड़ी नहीं है। जब शोधकर्ताओं ने ChatGPT से 42 विषयों पर छोटे लिटरेचर रिव्यू लिखवाए, तो GPT-3.5 के 55% और GPT-4 के 18% उद्धरण मनगढ़ंत निकले, और जो असली थे उनमें भी कई में गंभीर गलतियाँ थीं [1]। OpenScholar के मूल्यांकन में GPT-4o ने अपने दिए वैज्ञानिक उद्धरणों में से 78 से 90% तक गढ़ लिए थे [2]।
नुकसान सिर्फ़ शर्मिंदगी तक सीमित नहीं है। थीसिस के किसी अध्याय या जमा की गई पांडुलिपि में एक भी मनगढ़ंत संदर्भ शोध-ईमानदारी (research integrity) का मामला बन जाता है, और रिव्यूअर व सुपरवाइज़र अब पहले से ज़्यादा जाँच करते हैं।
चैटबॉट संदर्भ क्यों गढ़ लेते हैं
एक सामान्य चैटबॉट वही लिखता है जो उसके मॉडल को याद है। उसे पता है कि आपके फ़ील्ड में उद्धरण आम तौर पर कैसा दिखता है: कौन-से उपनाम आते हैं, कौन-से जर्नल, कौन-से साल। जब उसे कोई असली स्रोत याद नहीं आता, तब भी वह सही ढाँचे वाला कुछ बना सकता है। नतीजा पढ़ने में ठीक लगता है, और इसी वजह से वह पकड़ में नहीं आता।
पाँच मिनट की संदर्भ जाँच
AI की मदद से बना कोई भी संदर्भ पांडुलिपि में डालने से पहले ये जाँचें करें। हर पैराग्राफ़ पर कुछ ही मिनट लगते हैं और लगभग हर गलती पकड़ में आ जाती है।
- DOI खोलकर देखें। इसे https://doi.org/ के बाद पेस्ट करें। अगर DOI नहीं है, या वह किसी दूसरे पेपर पर खुलता है, तो वहीं रुक जाएँ।
- तीन चीज़ें मिलाएँ। पहला लेखक, साल और जर्नल, तीनों लैंडिंग पेज से मेल खाने चाहिए। मनगढ़ंत संदर्भ अक्सर तीन में से दो सही रखते हैं।
- एब्स्ट्रैक्ट को दावे से मिलाकर पढ़ें। असली पेपर को भी ऐसी बात के लिए उद्धृत किया जा सकता है जो उसमें कहीं कही ही नहीं गई। देखें कि एब्स्ट्रैक्ट उसी वाक्य का समर्थन करता है जिसमें उसे उद्धृत किया गया है।
- शीर्षक को उद्धरण-चिह्नों में खोजें। असली पेपर किसी स्कॉलरली इंडेक्स में दिख जाता है। मनगढ़ंत पेपर पर कुछ नहीं मिलता, या मिलता-जुलता कोई पेपर मिलता है जिसके लेखक अलग होते हैं।
- PDF या लैंडिंग पेज संभालकर रखें। अगर आप उसे खोल नहीं सकते, तो viva या पीयर रिव्यू में उसका बचाव भी नहीं कर सकते।
बेहतर तरीका: जो पेपर खोजा ही नहीं गया, उसे ड्राफ़्ट में आने ही न दें
बाद में जाँच करना काम करता है, पर धीमा है। ज़्यादा भरोसेमंद उपाय है काम का क्रम बदलना: पहले खोजें, नतीजों की स्क्रीनिंग करें, और उसके बाद ही लिखें, सिर्फ़ उन्हीं पेपरों का उद्धरण देते हुए जो वाकई खोजे गए हों।
tlooto इसी तरह बना है। जब आप कोई शोध प्रश्न पूछते हैं, tlooto खोजों की एक योजना बनाता है, एक स्कॉलरली इंडेक्स से लेखक, प्रकाशन-स्थल, साल, DOI और एब्स्ट्रैक्ट के साथ पेपर निकालता है, आपके मानदंडों पर उनकी स्क्रीनिंग करता है, और जो पेपर पास होते हैं उन्हीं से रिपोर्ट लिखता है। हर वाक्य के साथ क्रमांकित उद्धरण होता है, और संदर्भ सूची उन्हीं रिकॉर्ड से बनती है जिनसे मुख्य पाठ, इसलिए दोनों हमेशा मेल खाते हैं।
tlooto रिपोर्ट की संदर्भ सूची। हर प्रविष्टि अपने DOI से जुड़ी है, और कुछ भी दोबारा लिखे बिना स्टाइल बदला जा सकता है।
पेपर आपको फिर भी पढ़ने हैं। tlooto आपकी जगह शोध से जुड़े फ़ैसले नहीं लेता, और उसे लेने भी नहीं चाहिए। लेकिन आप ऐसे स्रोतों की सूची से शुरू करते हैं जो सच में मौजूद हैं, न कि ऐसे पैराग्राफ़ से जिसे आपको टुकड़े-टुकड़े करके जाँचना पड़े।
बिना साइन-अप के tlooto की उद्धरण-सहित रिपोर्ट देखें →
अपनी लैब या क्लास के लिए एक आसान नियम
जो संदर्भ खुल नहीं सकता, वह ड्राफ़्ट में नहीं जाएगा। यह नियम उन सबके साथ साझा करें जो लिखने में AI का इस्तेमाल करते हैं। यह इतना आसान है कि रात 2 बजे भी याद रहे, और ज़्यादातर ऐसी गलतियाँ उसी समय होती हैं।
संदर्भ
[1] Walters, W. H., & Wilder, E. I. (2023). Fabrication and errors in the bibliographic citations generated by ChatGPT. Scientific Reports, 13. https://doi.org/10.1038/s41598-023-41032-5
[2] Asai, A., et al. (2024). OpenScholar: Synthesizing scientific literature with retrieval-augmented LMs. arXiv. https://arxiv.org/abs/2411.14199