대형 언어 모델이 체계적 문헌 리뷰에 활용될 수 있을까? 학문적 엄격함을... - tlooto, The Most Powerful AcademicGPT

대형 언어 모델(LLM)이 체계적 문헌 리뷰(SLR)에 실질적으로 기여하면서도 학문적 엄격함(rigor)을 유지할 수 있는지 검토하면, 다음과 같은 근거와 조건 하에서 부분적·보조적 활용이 가능하다는 결론에 도달할 수 있다. 1. LLM의 SLR 단계별 활용 가능성 1.1 문헌 검색 및 스크리닝 - LLM은 제목·초록 수준에서 사전 필터링(prefiltering)을 통해 후보 논문 수를 대폭 줄일 수 있다. 실제로 Baumbach 등은 LLM을 활용한 전처리(pre‐screening)로 수작업 대비 최대 50–70%의 기록을 제거하면서도 포함 가능 논문을 놓치지 않는 성과를 보고했다[1]. - GPT-4의 경우, 초록 스크리닝 정확도가 데이터셋 불균형 시 인간 수준에 근접하는 반면, 균형 잡힌(1:1) 데이터셋에서는 단 한 건도 정확히 식별하지 못해 의존에는 주의가 필요하다[2]. 1.2 자료 추출(Data Extraction) - Claude-2 기반 LLM에 체계적으로 설계된 58개 항목의 구조화된 프롬프트를 적용한 결과, 무작위로 선정한 10개 RCT에서 94.8%의 정확도를 달성했고, RCT당 처리 시간은 평균 88초에 불과했다[3]. 이는 정형적 메타데이터(예: 샘플 크기, 개입 세부사항)의 추출 효율을 크게 높이는 잠재력을 시사한다. 1.3 종합 및 요약(Synthesis and Summarization) - 예비 연구들에 따르면, LLM은 다수 문헌의 주제 분류와 핵심 문장 추출을 통해 초안 수준의 요약본을 빠르게 생성할 수 있다[4]. 2. 학문적 엄격함 유지를 위한 핵심 조건 2.1 프로토콜 사전등록 및 PRISMA 준수 - SLR의 모든 단계(검색, 스크리닝, 추출, 종합)를 사전등록(PROSPERO 등)에 명시하고, PRISMA 가이드라인에 따라 보고체계를 유지해야 한다. LLM을 어느 단계에, 어떻게 활용했는지 프로토콜에 구체화해야 한다. 2.2 인간 전문가 개입(Human-in-the-Loop) - 자동화 단계마다 랜덤 샘플링 검토 및