논문 읽기, 3단계로 나누면 쉬워집니다.
논문을 제대로 읽으려면 첫 문장부터 참고문헌까지 순서대로 모두 읽어야 한다고 생각하기 쉽다. 이 방식은 한 편을 완독했다는 안도감은 주지만, 지금 필요한 논문인지 판단하기도 전에 세부적인 배경 설명에 시간을 쓰게 한다. 반대로 초록과 결론만 보고 내용을 안다고 생각하면 연구 방법과 실제 결과보다 저자의 요약과 해석을 먼저 믿게 된다. 효율적인 읽기는 많은 부분을 건너뛰거나 빠르게 훑는 요령이 아니다. 읽는 목적에 따라 어느 부분을 얼마나 깊이 확인할지 조절하는 기술이다.
연구 분야의 큰 흐름을 파악하려는 사람, 특정 수치의 출처를 확인하려는 사람, 새로운 방법을 재현하려는 사람은 같은 논문도 다르게 읽어야 한다. 문헌 검색 단계에서는 관련 없는 자료를 빨리 제외하는 것이 중요하다. 핵심 근거로 인용하려면 연구 대상과 설계, 결과, 한계를 원문에서 확인해야 한다. 논문의 방법을 직접 적용하거나 동료심사를 한다면 분석과 가정은 물론 부록·코드·데이터까지 따라가야 할 수 있다. 모든 논문을 가장 깊은 수준까지 읽으면 정작 중요한 논문에 쓸 시간이 줄어들고, 모든 논문을 요약 수준으로만 보면 결론을 검증할 수 없다.
How to Read a Paper는 이런 차이를 세 단계의 읽기로 설명한다(1). 첫 번째에는 관련성과 기본 성격을 판단하고, 두 번째에는 핵심 내용과 근거의 구조를 이해하며, 세 번째에는 연구를 재구성해 가정과 약점을 검증한다. 저자가 제시한 5~10분 같은 시간은 컴퓨터과학 연구자의 경험에서 나온 예시일 뿐, 실험으로 입증된 기준은 아니다. 중요한 것은 소요 시간이 아니라 읽기의 목적을 구분하는 관점이다. 첫 번째 읽기에서 멈추는 것은 실패가 아니다. 세 번째 읽기가 필요한 논문을 제대로 골라내는 데 효율적인 읽기의 의미가 있다.
첫 번째 읽기의 목표는 더 읽을 가치가 있는지 판단하는 것이다.
논문을 열기 전에 먼저 정확한 버전인지 확인한다. 프리프린트, 학회 발표문, 저자 최종원고와 출판본은 분석이나 결론이 다를 수 있고, 출판 뒤 정정이나 철회가 생길 수도 있다. Crossmark 안내에 따르면 참여 출판사의 논문 화면이나 PDF에 표시되는 Crossmark 상태를 통해 현재 버전인지와 중요한 변경 사항이 있는지를 확인할 수 있다(2). 모든 출판사가 참여하는 것은 아니므로 출판사 페이지와 DOI 기록도 함께 보아야 하지만, 오래된 버전이나 철회된 논문에 시간을 쓰는 일은 줄일 수 있다.
그다음에는 이번 읽기의 목적을 한 문장으로 쓴다. “이 분야를 공부하려고”는 너무 넓다. “이 논문이 내 연구 대상과 같은 집단을 조사했는지 판단한다”, “이 효과크기의 원자료와 계산법을 확인한다”, “이 실험의 측정 도구를 재사용할 수 있는지 본다”처럼 확인할 내용이 분명해야 한다. 과학논문 읽기의 열 가지 원칙은 분야의 큰 흐름 파악, 특정 사실 확인, 방법 학습, 동료심사, 재현처럼 목적이 달라지면 필요한 읽기 깊이도 달라진다고 강조한다(3). 모든 목적에 통하는 하나의 최선 순서는 없다는 뜻이다.
빠르게 판단할 때는 제목, 초록, 서론의 첫 부분, 절 제목, 그림과 표, 결론, 참고문헌을 본다. 이때 논문이 어떤 질문을 던지는지, 왜 필요한 연구인지, 어떤 유형의 연구인지, 주요 결과는 무엇인지, 내 질문과 직접 연결되는지를 적는다. Keshav는 첫 번째 읽기에서 연구의 범주와 맥락, 처음 보기에 타당한지, 어떤 기여를 하는지, 설명이 명확한지를 확인하라고 제안한다. 결론이 흥미롭다는 이유만으로 계속 읽지 말고, 연구 설계가 질문에 맞는지도 초기에 살펴야 한다.
BMJ의 Getting Your Bearings는 일차 연구인지 기존 연구를 종합한 이차 근거인지, 질문이 치료·진단·예후·원인 중 무엇인지 먼저 구분하라고 설명한다(4). 질문 유형이 다르면 적합한 설계도 다르다. 치료 효과에는 무작위 비교가 유용할 수 있지만, 희귀한 장기 부작용이나 자연적 예후를 알아보려면 다른 설계가 필요하다. 매력적인 가설이나 결론보다 방법과 설계가 질문에 맞는지가 계속 읽을 가치를 판단하는 데 더 중요하다.
실제 연구자도 대개 논문에 실린 순서대로 읽지 않는다. 과학·보건 연구자의 IMRAD 논문 독해를 조사한 연구에서 읽기 순서를 빠짐없이 답한 139건 가운데 98.6%가 초록을 먼저 읽었고, 이어서 서론-방법-결과-논의 순으로 읽은 경우는 드물었다(5). 초록부터 읽은 응답자의 28%는 관련이 없다고 판단하면 초록까지만 읽고 멈췄다. 초록 다음에 방법을 읽은 응답은 21.2%였고, 주된 이유는 연구를 신뢰할 수 있는지, 결과가 얼마나 견고한지를 판단하기 위해서였다. 연구 경력이 있는 유럽 대학 소속 연구자가 대부분인 편의 표본을 대상으로 한 자기보고 조사이므로, 이것이 최선의 순서라는 근거는 아니다. 다만 전문가가 목적에 따라 읽는 순서를 바꾸는 일이 흔하다는 근거는 된다.
초록은 첫 번째 판단에는 유용하지만 깊이 읽을 때는 함정이 될 수 있다. 비전문가를 위한 Duke의 과학논문 읽기 안내는 관련성을 판단할 때는 제목과 초록을 활용하되, 본격적으로 읽을 때는 저자의 해석에 생각이 먼저 묶이지 않도록 초록을 나중에 다시 읽는 방식을 제안한다(6). 이를 앵커링이라고 한다. 처음 접한 설명이 이후 판단의 기준점이 되는 현상이다. 초록을 처음부터 보지 말라는 절대 규칙이 아니라, 빠른 선별에 활용한 초록의 결론을 검증된 사실처럼 받아들이지 말라는 뜻이다.
읽기를 멈출 조건도 미리 정해야 한다. 호흡치료 분야의 읽기 지침은 초록의 결론을 본 뒤 방법과 결과로 이동하면서, 각 단계에서 읽기를 중단할 합당한 이유가 있는지 물으라고 한다(7). 연구 대상이 질문과 다르거나, 필요한 결과를 측정하지 않았거나, 원하는 자료가 없거나, 설계상 답할 수 없는 주장이라면 그 논문을 우선순위에서 미룰 수 있다. 다만 결과가 자신의 핵심 주장과 다르다는 이유만으로 제외하면 확인편향이 된다. 제외 이유는 관련성, 설계, 자료 가용성처럼 미리 정한 기준에 따라 기록해야 한다.
초보자는 너무 빨리 멈추기 전에 배경지식이 부족한 것인지 논문이 부적합한 것인지부터 구분해야 한다. STEM 학부생의 학문별 읽기를 검토한 연구는 과학 읽기가 모든 분야에 똑같이 적용되는 일반 기술이 아니며, 분야 지식과 읽기 전략, 동기, 자기효능감의 영향을 받는다고 설명한다(8). 학생은 방법과 결과를 어렵게 느껴 초록과 토론을 선호하는 반면, 경력 연구자는 방법과 결과를 더 중시하는 경향이 있다. 낯선 용어 몇 개 때문에 중요한 논문을 버리기보다 짧은 배경 검색이나 리뷰 논문으로 개념을 보충한 뒤 다시 판단할 필요가 있다.
두 번째 읽기에서는 저자의 결론보다 자료의 구조를 먼저 본다.
관련 논문이라고 판단했다면 질문, 방법, 결과, 해석을 자신의 말로 요약할 수 있을 정도까지 읽는다. 능동적 읽기에 관한 지침은 저자가 답하려는 질문과 그 중요성을 적고, 자신이라면 어떤 방법과 자료로 답할지 먼저 예측한 뒤, 각 실험과 그림이 실제로 무엇을 보여 주는지 비교하라고 제안한다(9). 저자의 논의 절을 읽기 전에 잠정적인 결론을 세워 보면 설명을 그대로 받아들이지 않고 근거와 해석의 차이를 볼 수 있다.
그림과 표는 장식이 아니라 결과를 압축해 보여 주는 핵심 자료다. 축의 단위와 범위, 색과 기호, 표본 수, 오차막대, 범례, 비교집단, 통계 표시를 확인한다. 오차막대가 표준편차인지 표준오차인지 신뢰구간인지에 따라 의미가 달라진다. 결과 본문이 강조한 비교만 보지 말고, 본문에서 언급하지 않은 패턴이나 빠진 집단이 그림에 나타나는지도 살핀다. Figure Facts 수업 연구는 학생에게 각 그림 패널의 질문·기법·결과·결론을 자신의 말로 적게 했다(10). 14명의 작은 표본에서 교육 뒤 그림을 살펴보는 시간이 늘고 처음 보는 자료를 해석하는 능력이 일부 나아졌지만, 무작위 비교가 없어 보편적인 효과라고 확정할 수는 없다. 그래도 그림을 수동적으로 넘기지 않는 방법으로는 유용하다.
방법 절에서는 모든 세부 절차를 암기하기보다 방법과 결과가 어떻게 이어지는지를 찾는다. 누구 또는 무엇을 포함하고 제외했는지, 비교집단과 배정은 어떻게 정했는지, 변수는 무엇으로 측정했는지, 측정이 일관적인지(신뢰도), 의도한 개념을 제대로 재는지(타당도), 결측과 중도 탈락을 어떻게 처리했는지, 통계 방법이 질문과 자료형에 맞는지를 본다. 저널 논문을 방법적으로 읽는 입문 안내는 제목·초록·결론으로 관련성을 먼저 확인한 뒤 표본, 선정 기준, 측정, 통제, 신뢰도·타당도와 통계를 살피라고 권한다(11). 토론은 자료 자체가 아니라 저자의 해석임을 기억해야 한다.
과학논문의 비판적 평가 안내는 설계와 질문의 적합성, 대상 선정, 응답률, 추적 손실, 통제, 교란, 대표성을 확인하고, 결과에서는 참가자 수·변이·정밀도를 객관적으로 보라고 설명한다(12). 교란은 제3의 요인이 원인으로 의심한 변수와 결과 모두에 관련돼 둘의 관계를 왜곡하는 현상이다. 표본이 크다는 사실만으로 선택편향이나 잘못된 측정이 사라지지는 않는다. 연구비 출처와 이해 상충, 참고문헌이 최신 자료를 얼마나 폭넓게 다루는지도 해석할 때 살펴야 한다.
읽는 순서는 논문의 구조와 목적에 맞게 바꿀 수 있다. 방법을 재현하려면 방법과 부록을 먼저 깊게 보고, 특정 수치를 확인하려면 결과표와 분석 대상을 추적한다. 체계적 문헌고찰이라면 검색·선정·편향 평가·종합 과정을 우선해서 본다. PRISMA 2020 설명서는 고찰 질문과 선정 기준, 정보원과 검색, 연구 선택, 자료 수집, 비뚤림 위험, 종합, 보고 편향, 근거의 확실성, 등록과 프로토콜에 관한 정보를 찾게 해 준다(13). PRISMA 항목이 모두 보고됐다는 사실만으로 고찰이 잘 수행됐다고 증명되지는 않지만, 신뢰도를 판단하는 데 필요한 정보를 어디에서 찾아야 하는지는 알 수 있다.
무작위시험에서는 CONSORT 2025 설명서를 필요한 정보를 찾는 지도처럼 사용할 수 있다(14). 배정, 눈가림, 결과, 분석 집단, 참가자 흐름, 부작용과 위해, 효과크기와 정밀도, 등록, 프로토콜·통계 분석 계획, 자료 공유, 연구비 정보를 찾는다. CONSORT 자체는 연구의 질을 평가하는 도구가 아니며, 한 가지 올바른 시험 방법을 명령하지도 않는다. 관찰 연구에서는 STROBE 설명서를 이용해 대상 선정, 환경, 변수와 교란 요인, 편향, 연구 크기, 결측, 조정 전후 추정값, 정밀도, 한계와 일반화 가능성을 확인할 수 있다(15). 보고 지침은 필요한 정보를 찾게 해 주지만, 그 정보가 타당한지는 별도로 판단해야 한다.
두 번째 읽기의 결과는 긴 내용 요약보다 구조화된 기록이어야 한다. 연구 질문, 대상·자료, 설계, 핵심 비교, 주요 결과와 수치, 한계, 내 연구와의 관련성, 추가로 확인할 참고문헌을 나눠 적는다. UC Davis의 논문 검색·정리 안내는 목적·관련성·핵심 메시지를 묻고, 제목과 초록, 그림과 캡션, 결과나 결론을 본 뒤 필요한 만큼 서론과 방법을 읽으라고 제안한다(16). 참고문헌 관리 도구에는 결론뿐 아니라 유용한 방법, 태그, 프로젝트 폴더와 중요한 그림을 남겨야 나중에도 왜 저장했는지 떠올릴 수 있다.
세 번째 읽기에서는 핵심 논문의 결론을 재구성하고 반박 가능성까지 살핀다.
논문이 연구의 핵심 근거이거나 그 방법을 실제로 사용할 예정이라면 저자가 결론에 도달한 과정을 재구성한다. 같은 자료가 주어졌을 때 자신도 같은 분석과 결론에 도달하는지, 다른 설명은 가능한지, 가정 하나가 바뀌면 결과가 어떻게 달라지는지를 본다. Keshav의 세 번째 읽기는 사실상 논문을 머릿속에서 다시 수행하며 숨은 가정과 약점, 누락된 인용을 찾는 단계다. 수식·코드·부록·등록 자료·프로토콜과 원자료가 필요할 수 있고, 한 편을 읽는 데 여러 시간이 걸려도 이상하지 않다.
이때는 일반적인 질문 목록보다 연구 설계에 맞는 도구를 쓴다. CASP 체크리스트는 무작위시험, 체계적 문헌고찰, 질적 연구, 코호트, 진단, 환자-대조군 연구, 경제성 평가 등 설계별로 초점이 분명한 질문인지, 방법은 타당한지, 결과의 크기와 정밀도는 어떠한지, 적용할 수 있는지를 묻는다(17). ‘판단할 수 없음’을 그대로 남기고 총점을 만들지 말라고도 한다. 옥스퍼드 CEBM의 평가 도구도 질문의 초점, 방법의 타당성, 결과의 중요성, 현재 환경에 적용할 수 있는지를 설계별로 확인하게 한다(18). 둘 다 판단을 돕는 교육용 기준이므로 전문적인 비뚤림 위험 평가와 통계 지식을 대신하지는 않는다.
능동적으로 깊이 읽으려면 질문하고 예측해야 한다. CREATE 방식은 고려하기, 읽기, 가설 밝히기, 자료 분석·해석하기, 다음 실험 생각하기를 뜻한다. 한 수업을 대상으로 한 연구에서 학생들은 논문에 주석을 달고 그림을 다시 그리며 개념 지도를 만들고 다음 실험을 예측했다(19). 학생들은 자기 평가 능력과 과학을 바라보는 관점이 개선됐다고 보고했지만, 무작위 대조가 없는 한 과목의 자기보고가 중심이었다. 다른 비무작위 비교 연구에서는 CREATE와 기존 방식의 능동적 문헌 토론 수업 모두 비판적 사고가 향상됐고 집단 간 우위는 없었다(20). 이름 붙은 특정 방식보다 자료를 직접 해석하고 토론하도록 한 공통 요소가 더 중요할 수 있다.
학부생 대상 과학 문헌 읽기 교육 74가지를 검토한 문헌고찰은 교육 기간과 방식, 목표로 삼은 기술, 평가 방법이 매우 달랐고, 연구가 생물학과 4년제 기관에 집중됐음을 발견했다(21). 평가가 없는 사례가 많았고 거의 모두 한 기관에서만 조사됐다. 따라서 “이 순서가 모든 사람의 이해를 높인다”는 강한 결론을 내리기는 아직 어렵다. 학습 목표를 먼저 정하고, 적합한 논문을 고른 뒤, 논문의 각 절과 그림을 읽는 과정을 단계적으로 안내하고, 실제 결과를 평가해 활동을 수정하는 편이 더 안전하다.
깊이 읽는다고 해서 저자의 권위를 공격하는 것이 목표는 아니다. 가능한 대안 설명을 만들고, 그 설명과 저자의 설명 가운데 어느 쪽이 자료를 더 잘 설명하는지 비교한다. 자신이 기대한 결과에는 관대하면서 반대 결과에서만 결함을 찾는 확인편향도 점검한다. 논문이 답하지 않은 질문을 결함으로 오해하지 말고, 저자가 실제로 제시한 질문에 연구 설계가 적합한지 먼저 본다. 그다음 그 결론을 자신의 연구 질문에 적용할 때 얼마나 간접적인 근거가 되는지를 별도로 평가한다.
모든 논문에 세 번째 읽기가 필요한 것은 아니다. 분야를 훑는 단계에서는 첫 번째 읽기와 구조화된 메모가 충분할 수 있다. 핵심 개념의 대표 논문, 직접 인용할 결과, 방법을 빌릴 연구, 결론이 충돌하는 논문, 연구 설계의 기반이 되는 자료에는 두 번째나 세 번째 읽기가 필요하다. 초록에서 가져온 숫자를 인용하거나, 토론의 해석을 결과처럼 쓰거나, 방법을 보지 않은 채 인과결론을 재사용하는 것은 효율이 아니라 검증 생략이다.
좋은 읽기 기록에는 얼마나 깊이 읽었는지도 표시해야 한다. ‘선별만 함’, ‘핵심 내용 확인’, ‘방법·결과까지 평가’, ‘재현 수준 검토’처럼 남기면 초록만 본 논문과 깊이 검토한 핵심 근거를 같은 수준으로 확신하지 않게 된다. 중단한 논문은 관련 없음, 설계 부적합, 원문 미확보, 중복 버전처럼 이유를 기록한다. 나중에 질문이 바뀌었을 때 같은 논문을 다시 읽을 가치가 있는지도 판단할 수 있다.
논문을 처음부터 끝까지 읽지 않는다는 말은 필요한 내용을 생략하라는 뜻이 아니다. 먼저 목적을 정하고, 빠른 판단으로 시간을 들일 논문을 고른 뒤, 자료와 방법을 중심으로 내용을 이해하고, 핵심 근거는 가정과 대안 설명까지 깊이 검증하라는 뜻이다. 완독 여부보다 중요한 것은 현재 주장에 필요한 깊이까지 읽었는지다. 읽는 순서를 바꾸면 더 적게 읽는 것이 아니라, 중요한 논문을 더 충실하게 읽을 수 있다.
출처
1. How to Read a Paper - https://doi.org/10.1145/1273445.1273458
2. Crossmark Documentation - https://www.crossref.org/documentation/crossmark/
3. Ten Simple Rules for Reading a Scientific Paper - https://doi.org/10.1371/journal.pcbi.1008032
4. Getting Your Bearings - https://doi.org/10.1136/bmj.315.7102.243
5. How, and Why, Researchers Read IMRAD Papers - https://doi.org/10.1371/journal.pone.0297034
6. How to Read and Understand a Scientific Paper - https://arc.duke.edu/how-to-read-and-understand-a-scientific-paper-a-guide-for-non-scientists/
7. How to Read a Scientific Research Paper - https://doi.org/10.4187/respcare.09541366
8. Disciplinary Literacies in STEM - https://doi.org/10.1080/23752696.2021.1882326
9. Active versus Passive Reading - https://doi.org/10.1093/nsr/nwaa130
10. Figure Facts - https://doi.org/10.1187/cbe.11-07-0057
11. Art of Reading a Journal Article - https://doi.org/10.4103/0973-029X.110733
12. Critical Appraisal of Scientific Articles - https://doi.org/10.3238/arztebl.2009.0100
13. PRISMA 2020 Explanation and Elaboration - https://doi.org/10.1136/bmj.n160
14. CONSORT 2025 Explanation and Elaboration - https://doi.org/10.1136/bmj-2024-081124
15. STROBE Explanation and Elaboration - https://doi.org/10.1371/journal.pmed.0040297
16. How to Search and Organize Research Articles - https://biotech.ucdavis.edu/news/how-search-and-organize-research-articles
17. CASP Checklists - https://casp-uk.net/casp-tools-checklists/
18. CEBM Critical Appraisal Tools - https://www.cebm.ox.ac.uk/resources/ebm-tools/critical-appraisal-tools
19. The CREATE Approach - https://doi.org/10.1187/cbe.11-03-0027
20. CREATE versus Traditional Primary-Literature Analysis - https://doi.org/10.1128/jmbe.v14i2.506
21. Teaching Students to Read Primary Scientific Literature - https://doi.org/10.1187/cbe.22-10-0211