체계적 문헌고찰의 성패는 검색창을 열기 전에 결정된다
체계적 문헌고찰은 미리 정한 질문과 기준에 따라 관련 연구를 빠짐없이 찾고, 연구의 신뢰도를 평가한 뒤, 전체 근거를 종합하는 연구 방법이다. 처음 시작할 때는 대개 검색창부터 열게 된다. 주제를 나타내는 단어 몇 개를 넣고, 검색 결과가 너무 많으면 조건을 추가하고, 너무 적으면 단어를 뺀다. 화면에 그럴듯한 논문이 쌓이면 검색이 잘되고 있다고 느끼기 쉽다. 그러나 이 방식에는 치명적인 문제가 있다. 이미 알고 있거나 눈에 잘 띄는 연구만 반복해서 만나면서도, 무엇을 놓쳤는지 알 방법이 없다는 것이다.
체계적 문헌고찰에서 검색은 자료를 많이 모으기 위한 준비 작업이 아니다. 문헌고찰의 최종 결론에 반영할 연구의 범위를 정하는 첫 절차다. 검색에서 빠진 연구는 이후의 선별, 질 평가, 통계 분석에서 되살릴 수 없다. 반대로 검색 기준이 계속 바뀌면 연구자가 마음에 드는 결과를 본 뒤 기준을 조정했다는 의심을 피하기 어렵다. 그래서 Cochrane Handbook, JBI Manual for Evidence Synthesis, PRISMA-P 같은 주요 지침은 검색을 프로토콜 단계에서 설계하도록 요구한다(1)(2)(10). 프로토콜은 연구를 시작하기 전에 질문, 포함·제외 기준, 자료원, 분석 방법을 적어 두는 계획서다. 결과를 보기 전에 판단 기준을 고정해야 나중의 선택이 결과에 따라 흔들리지 않는다.
이 계획에는 검색식만이 아니라 어떤 자료원을 어떤 제한과 보조 방법으로 탐색할지, 선별 전에 무엇을 기록할지도 들어가야 한다. National Academies의 검색 표준은 질문마다 포괄 검색을 설계하고 이를 독립적으로 검토하며, 줄 단위 검색식·실행일·검색 기록 처리 내역까지 남기도록 요구한다(4). CRD 지침도 전자 데이터베이스를 여러 자료 발견 경로 가운데 하나로 다룬다(5). 두 지침은 의료 분야에서 만들어졌고 CRD의 구체적 서비스 정보는 오래됐을 수 있다. 다만 검색식 작성과 실행에 관한 기록까지 미리 설계해야 같은 절차를 재현할 수 있다는 원리는 다른 분야에도 적용된다.
좋은 검색의 출발점은 멋진 검색식이 아니라 답할 수 있는 질문과 일관된 포함 기준이다. 어떤 사람이나 자료를 다룰지, 어떤 현상이나 개입을 볼지, 무엇과 비교할지, 어떤 결과를 인정할지, 어느 시기와 연구 설계를 포함할지를 먼저 정해야 한다. 이 기준이 모호하면 같은 논문도 오늘은 포함하고 내일은 제외하게 된다. 검색어 역시 계속 흔들린다. 결국 검색 결과 수는 많아지지만, 왜 그 자료가 필요한지는 더 불분명해진다.
연구 질문을 검색 가능한 설계도로 바꾸는 법
가령 “스마트폰 사용이 청소년 수면에 미치는 영향”을 검토한다고 해 보자. 이 문장은 관심사를 표현하지만 아직 검색 설계는 아니다. 청소년의 연령 범위는 어디까지인지, 스마트폰 사용은 사용 시간만 뜻하는지 야간 사용이나 문제적 사용도 포함하는지, 수면은 수면 시간·수면의 질·불면 증상 중 무엇으로 판단할지, 관찰연구와 실험연구를 모두 포함할지를 먼저 결정해야 한다. 이런 결정이 검색어 선택보다 앞선다. 검색어는 이미 정한 개념을 데이터베이스가 알아들을 수 있는 표현으로 옮기는 수단이기 때문이다.
PICO처럼 질문을 나누는 틀은 이때 유용할 수 있다. PICO는 대상 집단(Population), 개입 또는 노출(Intervention), 비교(Comparison), 결과(Outcome)를 구분하는 방식이다. 다만 질문의 모든 요소를 검색식에 반드시 넣어야 하는 것은 아니다. PICO가 검색 품질을 높이는지 검토한 체계적 문헌고찰은 비교 가능한 연구가 세 편뿐이어서 확실한 결론을 내리지 못했다(17). 특히 결과 지표를 나타내는 용어는 논문마다 표현이 다양하고 초록에 빠질 수도 있어, 이를 검색식에 억지로 넣으면 관련 연구가 검색 결과에서 사라질 수 있다. PICO는 질문을 명확히 하는 도구이지, 자동으로 완성된 검색식을 만들어 주는 공식이 아니다.
검색에서 중요한 두 기준은 재현율과 정밀도다. 재현율은 실제로 관련 있는 연구 가운데 검색이 찾아낸 비율이고, 정밀도는 검색 결과 가운데 실제 관련 연구가 차지하는 비율이다. 놓치는 연구를 줄이려면 재현율을 높여야 하지만, 그만큼 무관한 결과도 늘어 선별 부담이 커질 수 있다. 반대로 결과를 지나치게 좁히면 정밀도는 좋아 보여도 핵심 연구를 잃는다. 체계적 문헌고찰은 보통 정밀도보다 재현율을 우선하지만, 검색 결과만 많이 늘리는 것이 답은 아니다. 포함 기준과 이미 알고 있는 핵심 논문을 이용해 검색식이 중요한 연구를 실제로 찾아내는지 시험하면서 균형을 조정해야 한다.
각 핵심 개념에는 두 종류의 표현이 필요하다. 하나는 저자가 제목과 초록에 실제로 쓴 자유어다. 청소년이라면 adolescent, teenager, youth처럼 여러 표현이 있을 수 있다. 다른 하나는 데이터베이스가 같은 주제의 문헌을 묶으려고 부여하는 통제어휘다. 통제어휘는 도서관의 주제 분류표와 비슷하며, PubMed의 MeSH가 대표적이다. 최신 논문에는 아직 통제어휘가 부여되지 않았을 수 있고 저자가 새로운 표현을 쓸 수도 있으므로, 자유어와 통제어휘를 함께 써야 한다. 같은 개념의 동의어는 OR로 묶고, 서로 다른 개념은 AND로 연결한다. NOT은 특정 단어가 들어간 관련 논문까지 통째로 제거할 수 있어 대체로 신중하게 써야 한다.
검색식은 처음부터 완성되지 않는다. JBI의 3단계 접근처럼 먼저 제한된 탐색 검색을 하고, 거기서 찾은 적합 논문의 제목·초록·통제어휘를 살펴 어휘를 확장한 뒤, 완성한 전략을 모든 자료원에 맞게 변환하는 편이 안전하다(2). 이때 탐색 검색 결과는 최종 근거 집합이 아니라 어휘를 배우는 재료다. 이미 알고 있는 핵심 논문, 즉 씨앗 논문이 검색 결과에 나타나는지도 확인해야 한다. 나타나지 않는다면 연구 주제가 희귀해서가 아니라 검색 개념, 철자 변형, 통제어휘, 구문 또는 데이터베이스 선택에 결함이 있을 수 있다.
검색 전략 개발의 체계적 절차도 질문과 답이 될 수 있는 문헌 유형을 먼저 분명히 한 뒤, 통제어휘와 자유어를 함께 만들고 서로 다른 검색 경로가 각각 찾아낸 관련 기록을 비교해 전략을 다듬으라고 설명한다(13). 한 번 쓴 검색식을 그대로 고정하는 것이 아니라 오류 확인, 데이터베이스별 문법 변환, 재시험을 거치는 과정이다. 이 절차는 생의학 도서관 환경에서 제시된 것이므로 다른 분야에서는 효율을 직접 확인해야 하지만, 어휘 발견과 검증을 분리하지 말라는 교훈은 유용하다.
검색식 하나로는 문헌 전체를 찾을 수 없다
같은 주제라도 데이터베이스마다 수록 학술지, 색인 방식, 지역과 언어의 범위가 다르다. 따라서 “가장 유명한 데이터베이스 하나”를 고르는 것으로 자료원 설계가 끝나지 않는다. 어떤 학문 분야를 다루는지, 연구 설계가 무엇인지, 학술지 밖의 자료가 중요한지에 따라 자료원 조합이 달라진다. 58개 생의학 체계적 문헌고찰의 검색 과정을 사전에 정한 방법으로 추적해 분석한 데이터베이스 조합 연구에서는 데이터베이스가 찾아낸 포함 문헌 중 16%가 한 데이터베이스에서만 검색됐다(14). 이 숫자를 모든 분야에 그대로 적용할 수는 없지만, 한 자료원만으로 충분하다고 가정하는 일이 위험하다는 점은 분명하다.
Google Scholar도 보조 검색에는 유용하지만 단독 자료원으로 삼기 어렵다. 120개 체계적 문헌고찰을 분석한 Embase·MEDLINE·Google Scholar 비교 연구에서는 어느 하나도 단독으로 충분하지 않았고, Google Scholar에 존재하는 포함 문헌도 실제로 확인하고 내려받을 수 있는 상위 1,000개 결과 안에는 일부만 나타났다(15). 검색 순위와 노출 가능한 결과 수가 검색 엔진의 내부 규칙에 좌우되기 때문에, 다른 연구자가 같은 절차를 재현하기도 어렵다. 핵심은 특정 데이터베이스가 항상 우월하다는 것이 아니라, 질문에 맞는 자료원 조합과 각 자료원의 역할을 미리 설명할 수 있어야 한다는 것이다.
질문이 복잡하면 한 개의 길고 거대한 검색식보다 서로 다른 하위 질문을 다루는 짧은 검색을 여러 갈래로 설계하는 편이 더 분명할 수 있다. NICE의 근거 검색 지침은 프로토콜에서 전략 구조를 만들고, 색인이 놓칠 가능성이 있을 때 후방·전방 인용 추적, 수작업 검색, 전문가 문의를 쓰되 보조 방법에도 같은 투명성과 재현성 기준을 적용한다(6). 이는 NICE의 지침 개발 상황에서 허용하는 제한을 모든 검토에 그대로 옮기라는 뜻이 아니라, 각 보조 경로도 미리 정하고 설명해야 한다는 뜻이다.
또한 데이터베이스에 색인되지 않는 회색문헌을 고려해야 한다. 회색문헌은 상업 학술지의 정규 출판 경로 밖에서 나온 정부 보고서, 학위논문, 기술평가 보고서, 학회 자료, 연구등록 기록 등을 말한다. 통계적으로 유의하다는 말은 특정 모형 아래에서 관찰된 차이가 우연만으로 나타났다고 보기 어려운지를 판단한 결과일 뿐, 효과가 크거나 현실적으로 중요하다는 뜻은 아니다. 그런데 이런 결과나 긍정적인 결과가 학술지에 더 쉽게 실리는 출판 편향이 있다면, 학술지만 검색한 결론은 실제 효과를 과장할 수 있다. 통계적 유의성이 출판 여부를 가르는 기준으로 잘못 사용되곤 하기 때문이다. Grey Matters 같은 도구는 어떤 기관과 웹사이트를 언제, 어떤 단어로 검색했는지 기록하도록 돕는다(20). 중요한 것은 무작정 웹 전체를 뒤지는 것이 아니라, 해당 분야에서 연구가 남는 경로를 목록으로 만들고 같은 원칙으로 검색하는 일이다.
검색은 논문 단위가 아니라 연구 단위로 생각해야 한다. 한 연구가 프로토콜, 학회 초록, 본 논문, 후속 분석으로 여러 번 보고될 수 있기 때문이다. 이 기록들을 서로 다른 연구로 세면 근거가 실제보다 많아 보인다. 반대로 제목이 다르다는 이유로 관련 보고서를 놓치면 결과와 부작용 정보를 분리해서 보게 된다. Campbell 검색 지침은 연구와 연구 보고서를 구분하고, 참고문헌을 거슬러 올라가는 후방 인용 추적과 해당 논문을 인용한 후속 연구를 찾는 전방 인용 추적을 함께 사용하도록 안내한다(3). 데이터베이스 검색, 인용 추적, 관련 리뷰의 참고문헌 확인, 전문가 문의는 서로를 대신하는 방법이 아니라 서로 다른 누락 경로를 메우는 방법이다.
실행 전에 검증하고, 실행하면서 기록해야 한다
긴 검색식은 정교해 보이지만 작은 오류 하나로 많은 연구를 지울 수 있다. 괄호 위치, AND와 OR의 결합, 여러 단어를 하나의 표현으로 찾는 구문 검색, 하나의 어간으로 여러 단어 꼴을 찾는 절단 기호, 통제어휘의 하위 항목 포함 여부, 데이터베이스별 문법이 모두 결과를 바꾼다. 두 단어가 일정한 거리 안에 있을 때만 찾는 근접 연산자도 플랫폼마다 표기법이 다르다. 137개 체계적 문헌고찰의 PubMed 또는 MEDLINE 전략을 조사한 검색 오류 연구에서는 92.7%에서 평가 대상 오류가 하나 이상 발견됐고, 78.1%에는 재현율에 영향을 주는 오류가 있었다(16). 이 비율을 모든 분야의 현재 검색에 일반화할 수는 없지만, 작성자가 자기 검색식을 한 번 읽어 보는 것만으로는 충분하지 않다는 경고로는 강력하다.
그래서 주요 검색식은 실행 전에 다른 사람이 검토하는 편이 좋다. PRESS 지침은 연구 질문이 검색 개념으로 제대로 옮겨졌는지, 불리언·근접 연산자가 맞는지, 통제어휘와 자유어가 충분한지, 철자와 구문, 제한 조건에 오류가 없는지를 점검한다(11). 가장 효율적인 시점은 대표 데이터베이스용 검색식을 완성했지만 다른 데이터베이스로 변환하기 전이다. 이때 고치면 잘못된 결과를 선별한 뒤 처음부터 다시 하는 비용을 피할 수 있다. 다만 PRESS는 검색식 검토 도구이지, 자료원 선택·회색문헌·인용 추적·보고 전체를 대신하지 않는다.
PRESS의 상세 해설과 점검표는 동료 검토를 검색 계획·결과 검증·정확한 보고와 함께 수행할 절차로 제시하고, 큰 수정 뒤에는 다시 검토할 수 있다고 설명한다(12). 따라서 동료 검토를 마지막 승인 도장으로 여기기보다, 아직 선별할 기록이 쌓이기 전의 품질 관리 단계로 두는 편이 낫다.
재현 가능한 검색에는 검색식 외의 운영 기록이 필요하다. 데이터베이스와 플랫폼 이름, 검색을 실행한 날짜, 전체 줄 단위 검색식, 사용한 제한과 필터, 각 자료원에서 얻은 결과 수, 여러 자료원에서 반복 검색된 같은 기록을 하나로 합치는 중복 제거 방식, 인용 추적과 웹 검색 방법, 검색식 검토 여부, 마지막 업데이트 날짜를 남겨야 한다. PRISMA 2020은 각 데이터베이스·등록체계·웹사이트에서 사용한 전체 검색 전략을 보고하도록 요구하고, 검색 보고에 특화된 PRISMA-S는 자료원과 플랫폼, 검색일, 제한, 보조 검색, 중복 제거까지 16개 항목으로 구체화한다(7)(9). 두 지침은 보고가 완전한지를 보여 줄 뿐 검색이 좋은지를 보증하지는 않는다. 형편없는 검색도 정확히 보고할 수 있다. 검색 설계 지침, 독립 검토, 결과 검증이 함께 필요한 이유다.
PRISMA 2020 해설은 데이터베이스뿐 아니라 등록체계, 웹사이트, 기관, 참고문헌 목록 등 실제로 확인한 모든 출처와 각 출처의 마지막 검색일을 적고, 플랫폼·필터·검증·동료 검토·자동화 도구까지 남기라고 구체화한다(8). 이런 항목을 나중에 기억으로 복원하는 것은 위험하다. 2006년에 출판된 Cochrane 검토 65편을 살핀 검색 보고 분석에서는 어느 것도 평가한 일곱 항목을 모두 보고하지 않았고, 검색일과 플랫폼이 자주 빠졌다(21). 현재의 비율로 읽을 수 있는 오래된 표본은 아니지만, 실행 순간에 기록하는 습관이 필요한 이유를 보여 준다.
마지막으로 검색은 한 번 실행하고 끝나는 행위가 아니다. 원고 제출까지 시간이 흐르는 동안 새 연구가 나온다. 프로토콜에서 업데이트 시점과 방법을 정하고, 처음 사용한 자료원과 전략을 다시 실행할 수 있게 보존해야 한다. 시간이 촉박한 신속 문헌고찰이라도 이 원칙은 사라지지 않는다. 신속 문헌고찰 검색 지침이 강조하듯, 임의로 품질 관리를 생략해서는 안 되며 질문에 맞게 정당화할 수 있는 범위만 줄여야 한다(19). 검색 설계를 서두르면 결과 수가 불필요하게 늘어 선별 시간이 더 길어질 수도 있다.
검색 설계가 부실하면 실제로 누락이 생길 수 있지만, 한 사례를 일반적인 오류율로 바꾸어서는 안 된다. 한 MEDLINE 전략 비판과 응답에서 연구사서와 함께 전략을 고친 비판자들은 1,016개의 추가 기록과 누락 문헌을 제시했고, 원 저자들은 개선 여지는 인정하면서도 모든 검토에 적용할 세 가지 기준의 근거에는 이견을 냈다(18). 이처럼 논쟁적인 사례는 포괄성·체계성·투명성을 점검하는 질문은 제공하지만, 그 자체로 모든 분야의 성과를 증명하지는 않는다.
좋은 체계적 문헌고찰 검색은 거대한 검색식 한 줄이 아니다. 질문과 포함 기준을 먼저 고정하고, 개념별 어휘를 발견하고, 서로 다른 자료원의 누락을 보완하고, 핵심 논문으로 결과를 시험하고, 동료 검토를 거치고, 모든 결정을 실행 시점에 기록하는 과정이다. 이 순서를 지키면 검색 결과가 적든 많든 왜 그 결과를 신뢰할 수 있는지 설명할 수 있다. 반대로 이 순서가 없으면 수천 편을 모아도 체계적인 검색이라고 말하기 어렵다. 검색창을 열기 전에 내린 결정들이 결국 문헌고찰에서 고려할 수 있는 근거의 범위를 정한다.
출처
1. Cochrane Handbook, Chapter 4: Searching for and selecting studies - https://www.cochrane.org/authors/handbooks-and-manuals/handbook/current/chapter-04
2. JBI Manual for Evidence Synthesis - https://jbi-global-wiki.refined.site/space/MANUAL
3. Searching for studies: A guide to information retrieval for Campbell systematic reviews - https://doi.org/10.1002/cl2.1433
4. Standards for Finding and Assessing Individual Studies - https://www.ncbi.nlm.nih.gov/books/NBK209517/
5. Systematic Reviews: CRD's guidance for undertaking reviews in health care - https://www.york.ac.uk/media/crd/newpagesspring2025/Systematic_Reviews_CRD_guidance.pdf
6. NICE: Identifying the evidence - https://www.nice.org.uk/process/pmg20/chapter/identifying-the-evidence-literature-searching-and-evidence-submission
7. The PRISMA 2020 statement - https://doi.org/10.1371/journal.pmed.1003583
8. PRISMA 2020 explanation and elaboration - https://doi.org/10.1136/bmj.n160
9. PRISMA-S - https://doi.org/10.5195/jmla.2021.962
10. PRISMA-P 2015 statement - https://doi.org/10.1186/2046-4053-4-1
11. PRESS 2015 Guideline Statement - https://doi.org/10.1016/j.jclinepi.2016.01.021
12. PRESS 2015 Explanation and Elaboration - https://www.cda-amc.ca/sites/default/files/attachments/2023-06/PRESS Peer Review Electronic Search Strategies_ 2015 Guideline Explanation and Elaboration (PRESS E&E).pdf
13. A systematic approach to searching - https://doi.org/10.5195/jmla.2018.283
14. Optimal database combinations for literature searches in systematic reviews - https://doi.org/10.1186/s13643-017-0644-y
15. Comparing Embase, MEDLINE, and Google Scholar coverage - https://doi.org/10.1186/s13643-016-0215-7
16. Errors in search strategies and their effects on information retrieval - https://doi.org/10.5195/jmla.2019.567
17. The impact of PICO as a search strategy tool - https://doi.org/10.5195/jmla.2018.345
18. Systematic review searches must be systematic, comprehensive, and transparent - https://doi.org/10.1186/s12889-018-6275-y
19. Rapid reviews methods series: Guidance on literature search - https://doi.org/10.1136/bmjebm-2022-112079
20. Grey Matters - https://www.cda-amc.ca/node/88098
21. Analysis of the reporting of search strategies in Cochrane systematic reviews - https://doi.org/10.3163/1536-5050.97.1.004