소규모 리뷰에서도 초록 400개는 흔한 숫자입니다. 하나에 1분씩이면 꼬박 하루 근무 시간이고, 여덟 시간 내내 선별을 잘할 수 있는 사람은 없습니다. 250번째 초록쯤 되면 판단이 흔들리기 시작하고, 350번째에는 아침이었으면 제외했을 논문을 포함하고 있습니다.
선별에 초인적인 노력이 필요한 건 아닙니다. 필요한 건 구조입니다.
시작 전에: 기준을 글로 적기
포함 기준 네다섯 개를 짧고 확인 가능한 문장으로 적으세요. 대상, 노출 요인이나 중재, 결과, 설계, 기간. 설명에 한 문단이 필요한 기준이라면 나누세요. 초록 20개로 먼저 시험해 보고, 더 진행하기 전에 기준을 조정하세요.
두 갈래가 아니라 세 갈래로 판정하기
포함, 제외, 보류. 보류 더미가 있으면 멈추지 않고 나아갈 수 있습니다. 대부분은 애매한 초록 하나하나를 붙잡고 고민하느라 시간을 버립니다. 마지막에 모아서 처리하는 편이 더 빠르고 일관적입니다.
50개 단위로 끊어서 작업하기
단위 사이에 쉬고, 매번 시작하기 전에 기준을 다시 읽으세요. 사소해 보이지만 판단이 흔들리는 걸 막는 가장 좋은 방법입니다.
1차 선별은 AI에게, 이유와 함께
머신러닝은 근거 종합의 선별 단계를 빠르게 하는 데 오래전부터 쓰였습니다 [1]. 중요한 건 속도가 아니라 검증 가능성입니다. 1차 선별은 각 논문을 왜 남기거나 제외했는지 보이고, 애매한 논문을 직접 확인할 수 있을 때만 쓸모가 있습니다.
tlooto에서는 모든 후보 논문을 질문에서 도출한 명시적 포함 기준으로 평가합니다. 체계적 문헌고찰의 선별 단계를 그대로 따르는 방식입니다. 통과한 논문은 순위가 매겨져 집중된 근거 세트로 종합 단계에 넘어가고, 작업 과정 패널에서 무엇을 왜 남겼는지 볼 수 있습니다.
정식 체계적 문헌고찰이라면 이를 프로토콜을 대신하는 것이 아니라 두 번째 검토자나 우선순위 정하기 단계로 활용하세요. 연구 방법상 이중 선별이 필요하면 유지하고, AI의 도움을 받은 사실은 PRISMA 2020에 맞춰 투명하게 보고하세요.
주말을 지키는 체크리스트
- 기준을 글로 적고 초록 20개로 시험했다.
- 판정은 세 가지: 포함, 제외, 보류.
- 50개 단위로 작업하고, 매번 기준을 다시 읽었다.
- 이유가 보이는 AI 1차 선별, 보류와 애매한 논문은 직접 검토했다.
- 흐름도에 쓸 제외 사유를 빠짐없이 기록했다.
참고문헌
[1] Marshall, I. J., & Wallace, B. C. (2019). Toward systematic review automation: a practical guide to using machine learning tools in research synthesis. Systematic Reviews, 8. https://doi.org/10.1186/s13643-019-1074-9