एक छोटे-से रिव्यू के लिए चार सौ एब्स्ट्रैक्ट सामान्य संख्या है। एक मिनट प्रति एब्स्ट्रैक्ट के हिसाब से यह पूरे एक कामकाजी दिन के बराबर है, और कोई भी लगातार आठ घंटे अच्छी स्क्रीनिंग नहीं कर पाता। 250वें एब्स्ट्रैक्ट तक फ़ैसले भटकने लगते हैं, और 350वें तक आप वे चीज़ें शामिल करने लगते हैं जिन्हें सुबह आप बाहर कर देते।
स्क्रीनिंग के लिए बहादुरी की ज़रूरत नहीं। ढाँचे की ज़रूरत है।
शुरू करने से पहले: मानदंड लिख लें
चार या पाँच inclusion criteria छोटे, जाँचे जा सकने वाले वाक्यों में लिखें। Population, exposure या intervention, outcome, design, तारीख़ की सीमा। अगर किसी मानदंड को समझाने के लिए पूरा पैराग्राफ़ चाहिए, तो उसे बाँट दें। आगे बढ़ने से पहले इन्हें 20 एब्स्ट्रैक्ट पर आज़माएँ और ज़रूरत हो तो सुधारें।
दो नहीं, तीन फ़ैसले रखें
Include, exclude, unsure। Unsure वाला ढेर आपको आगे बढ़ते रहने देता है। ज़्यादातर लोग सीमा-रेखा वाले एब्स्ट्रैक्ट पर एक-एक करके उलझकर समय बर्बाद करते हैं; उन्हें आख़िर में एक साथ निपटाना तेज़ भी है और ज़्यादा एकरूप भी।
50-50 के ब्लॉक में काम करें
हर ब्लॉक के बीच ब्रेक लें, और हर ब्लॉक से पहले अपने मानदंड दोबारा पढ़ें। सुनने में मामूली लगता है। फ़ैसलों के भटकने से बचने का यही सबसे अच्छा तरीका है।
पहला राउंड AI से करवाएँ, कारणों के साथ
Evidence synthesis में स्क्रीनिंग को तेज़ करने के लिए मशीन लर्निंग का इस्तेमाल सालों से हो रहा है [1]। अहम बात गति नहीं, बल्कि जाँच की जा सकने की क्षमता है। पहला राउंड तभी काम का है जब आप देख सकें कि हर पेपर क्यों रखा गया या हटाया गया, और सीमा-रेखा वाले पेपर खुद जाँच सकें।
tlooto में हर उम्मीदवार पेपर को आपके प्रश्न से निकाले गए स्पष्ट inclusion criteria पर परखा जाता है, ठीक सिस्टमैटिक रिव्यू के स्क्रीनिंग चरण की तरह। पास होने वाले पेपरों को रैंक करके एक केंद्रित evidence set के रूप में synthesis के लिए आगे भेजा जाता है, और वर्क प्रोसेस पैनल दिखाता है कि क्या रखा गया और क्यों।
औपचारिक सिस्टमैटिक रिव्यू के लिए इसे दूसरे रिव्यूअर या प्राथमिकता तय करने वाले चरण की तरह इस्तेमाल करें, अपने प्रोटोकॉल के विकल्प की तरह नहीं। जहाँ आपके methods में ज़रूरी हो, dual screening जारी रखें, और PRISMA 2020 के अनुरूप AI की मदद की पारदर्शी रिपोर्टिंग करें।
वीकेंड बचाने वाली चेकलिस्ट
- मानदंड लिखे गए और 20 एब्स्ट्रैक्ट पर आज़माए गए।
- तीन फ़ैसले: include, exclude, unsure।
- 50-50 के ब्लॉक, हर ब्लॉक से पहले मानदंड दोबारा पढ़े गए।
- कारणों के साथ AI का पहला राउंड; unsure और सीमा-रेखा वाले पेपर आप खुद जाँचें।
- Flow diagram के लिए हर exclusion का कारण दर्ज।
tlooto रिपोर्ट में स्क्रीनिंग देखें →
संदर्भ
[1] Marshall, I. J., & Wallace, B. C. (2019). Toward systematic review automation: a practical guide to using machine learning tools in research synthesis. Systematic Reviews, 8. https://doi.org/10.1186/s13643-019-1074-9