연구자에게 문헌 리뷰에서 가장 오래 걸리는 일이 뭐냐고 물으면 대부분 정리해서 쓰는 일이라고 답합니다. 그런데 실제로 시간이 어디에 쓰이는지 보면 글쓰기는 대개 가장 작은 몫입니다.
숫자를 보면 정신이 번쩍 듭니다. PROSPERO에 등록된 체계적 문헌고찰은 등록부터 출판까지 평균 67.3주가 걸렸습니다 [1]. 과학 문헌은 해마다 약 4.1%씩 늘어 대략 17년마다 두 배가 됩니다 [2]. 그리고 2010년에 이미 의학 분야에서만 하루에 임상시험 논문 약 75편과 체계적 문헌고찰 11편이 나오고 있었습니다 [3].
흔한 시간 배분
프로젝트마다 다르지만, 연구자들이 일반적인 서술형 문헌 리뷰를 설명할 때 시간은 늘 같은 항목으로 나뉩니다.
- 검색과 재검색. 검색어를 다듬고, 동의어를 시도하고, 핵심 용어를 뒤늦게 발견해 전부 다시 돌립니다.
- 선별. 수백 개의 제목과 초록을 읽어 중요한 수십 편을 골라내고, 애매한 논문은 몇 번이고 다시 고민합니다.
- 다시 찾기. 지금 인용해야 할 바로 그 내용이 있던, 3주 전에 읽은 논문을 찾아 헤맵니다.
- 참고문헌 정리. 서식을 맞추고, 중복을 지우고, 수정할 때마다 번호를 고칩니다.
- 실제로 읽고 생각하기. 통찰이 나오는 부분이지만, 대개 가장 먼저 밀려나는 부분입니다.
나만 할 수 있는 건 마지막 항목뿐입니다. 앞의 네 가지는 기계적인 일이고, 일정의 대부분이 여기에 쓰입니다.
도구에 맡길 만한 부분
솔직한 답은 이렇습니다. 기계적인 부분을, 판단 과정이 보이는 방식으로. 머신러닝은 근거 종합, 특히 선별 단계를 빠르게 하는 데 오래전부터 쓰였습니다 [4]. 최근 달라진 점은 하나의 작업 공간에서 검색을 계획하고, 내 기준으로 선별하고, 인용이 달린 초안을 쓰면서 모든 단계를 보여 줄 수 있게 됐다는 것입니다.
tlooto의 설계 목표가 바로 이것입니다. 검색, 선별, 인용, 서식이 한곳에서 이뤄지고, 작업 과정 패널에서 무엇을 검색했고 왜 각 논문을 남겼는지 볼 수 있습니다. 찾은 자료는 라이브러리에 남습니다. 그렇게 돌려받은 시간은 나만 할 수 있는 일, 즉 꼼꼼히 읽고 근거가 무엇을 뜻하는지 판단하는 데 쓰면 됩니다.
작은 실험 하나
다음 리뷰를 할 때 일주일 동안 대략적인 기록을 남겨 보세요. 검색, 선별, 다시 찾기, 서식, 읽기에 각각 몇 시간을 썼는지. 대부분 앞의 세 가지에서 놀랍니다. 그 숫자가 일하는 방식을 바꿔야 할 이유입니다.
참고문헌
[1] Borah, R., Brown, A. W., Capers, P. L., & Kaiser, K. A. (2017). Analysis of the time and workers needed to conduct systematic reviews of medical interventions. BMJ Open, 7(2). https://doi.org/10.1136/bmjopen-2016-012545
[2] Bornmann, L., Haunschild, R., & Mutz, R. (2021). Growth rates of modern science. Humanities and Social Sciences Communications, 8. https://doi.org/10.1057/s41599-021-00903-w
[3] Bastian, H., Glasziou, P., & Chalmers, I. (2010). Seventy-five trials and eleven systematic reviews a day. PLoS Medicine, 7(9). https://doi.org/10.1371/journal.pmed.1000326
[4] Marshall, I. J., & Wallace, B. C. (2019). Toward systematic review automation: a practical guide to using machine learning tools in research synthesis. Systematic Reviews, 8. https://doi.org/10.1186/s13643-019-1074-9