개발경제학에서 RCT의 한계는 무엇이며, 대안은 무엇인가요?

개발경제학(development economics)에서 무작위통제실험(Randomized Controlled Trials, RCT)은 정책 개입의 인과적 효과를 식별하는 데 있어 “금본위(gold standard)”로 널리 활용되고 있습니다. 반드지, 디플로, 크래머의 연구 및 2019년 노벨경제학상 수상 등으로 그 영향력이 더욱 확대되었으나, RCT가 지닌 한계와 대안 또한 연구 현장에서 지속적으로 제기되고 있습니다.

1. RCT의 주요 한계

(1) 외적 타당성(external validity)의 문제

RCT는 연구가 수행된 특정 맥락(시간, 장소, 집단)에 특화된 결과를 산출하며, 이를 광범위하게 일반화하는 데 한계가 많습니다. 예를 들어 인도에서 시행된 교육, 보건 개입의 효과가 아프리카 지역이나 다른 개발도상국에서 동일한 효과를 발휘하리라고 보장할 수 없습니다. 분석적 맥락에서 볼 때, RCT는 높은 내부 타당성(internal validity)을 가지고 있으나, 대규모 국가 대표 표본자료나 다양한 상황에 적용 가능한 결과 도출 측면에서 한계가 명확합니다[1].

(2) 윤리적 함의

RCT는 실험집단에는 개입을 제공하고, 통제집단에는 의도적으로 개입을 제한하는 구조를 가지고 있습니다. 이는 보건이나 복지 등 인명과 직결된 분야에서 통제집단에 혜택을 미제공하는 것이 윤리적으로 문제가 될 수 있습니다[1].

(3) 복잡한 제도·정책 개입의 평가 한계

RCT는 비교적 단순한 단기 개입에는 적합하지만, 제도 변화, 구조적 개혁, 거버넌스와 같이 복합적이고 장기적인 맥락에는 적용이 어렵습니다[2][3]. 제도 변혁과 같은 대규모 정책은 무작위 분배와 통제구성이 현실적으로 불가능할 수 있습니다.

(4) 자원(비용, 시간) 소모

RCT는 엄격한 설계, 현장 실행, 데이터 수집 등에 상당한 비용과 시간이 필요합니다. 모든 정책이나 개입에 적용하는 것이 실무적으로 불가능할 때가 많습니다[2][4].

(5) 측정 가능한 효과와 장기효과의 한계

RCT는 대개 단기적 결과에 초점을 맞춥니다. 개입의 장기적 효과(long-term impact)나 넓은 범위의 파급효과(spillover)를 충분히 포착하지 못하고, 실험 참여자가 관찰되는 사실을 인지해 행동을 바꾸는 호돈 효과(Hawthorne effect) 등 실제 효과 파악에 장애가 될 수 있습니다[4].

(6) 정책결정과 실제 적용의 괴리

RCT의 실험적 결과가 현장의 정책결정에 유의미하게 반영되지 않거나, 정치·제도적 복잡성(정치적 저항, 행정적 제약 등)과 괴리되는 경우가 빈번합니다[1].

2. RCT의 대안적 방법론 및 보완 접근

(1) 준실험(비실험)적 방법(Quasi-Experimental Methods)

외생적 사건이나 제도 변화 등 자연적으로 발생하는 요인을 이용해 인과 효과를 추정하는 방식이 널리 활용됩니다. 주요 예시는 다음과 같습니다.

• 이차차분법(Difference-in-Differences, DiD): 정책 시행 전후 및 실험-통제집단 간 변화 차이를 비교하여 효과를 도출합니다[1].
• 회귀불연속설계(Regression Discontinuity Design, RDD): 정책 대상 선정 기준점을 임계치로 설정, 경계 근처 집단을 비교해 인과효과를 추정합니다[1].
• 도구변수법(Instrumental Variables, IV): 내생성(endogeneity) 문제를 극복하기 위해 결과값과 독립적인 외생 변수를 활용합니다[1].

준실험적 방법은 대규모 대표 표본 등 관찰자료를 바탕으로 외적 타당성을 높일 수 있다는 점에서 RCT와 상호보완적으로 간주됩니다[1].

(2) 구조모형(Structural Modeling)

행위자의 선호, 제약 및 전략적 상호작용을 명시적 수식화하고, 이를 통해 제도·정책 변화를 모의실험(simulation)할 수 있습니다[2]. 이 방법은 실험 이전(ex ante) 정책 평가, 대안적 정책 시나리오 평가 등 실험적 접근만으로는 불가능한 “반사실적(미실시) 정책 효과” 탐색에 적합합니다. 최근에는 RCT의 데이터를 구조추정에 활용하거나, 두 접근법을 혼합하여 한계점을 상호 보완하는 시도가 다수 이루어지고 있습니다[2].

(3) 질적연구 및 혼합방법(Mixed-Methods)

정량적(RCT 등) 결과의 맥락 해석을 강화하기 위해 심층면접, 참여관찰, 사례연구 등 질적 방법이 활용되며, 질·양적 자료를 통합 분석하는 혼합 방법론이 발전하고 있습니다. 이는 RCT에서 포착하기 힘든 문화, 제도, 행태적 특성을 탐구하는 데 유용합니다.

(4) 메타분석 및 외적 타당성 강화

여러 RCT, 준실험적 연구를 통합한 메타분석(meta-analysis)은 연구결과의 일관성, 일반화 가능성(외적 타당성)을 제고하는 데 활용됩니다. 예를 들어, RCT가 희귀 사건(rare events)에 대해 불충분한 검정력(power)을 보일 때, 여러 개의 연구 결과를 종합해 보다 진전된 결론을 도출하기도 합니다[5].

(5) 정책적·제도적 맥락중시와 사례 기반 비교연구

특정 국가나 사회의 역사, 제도, 사회적 맥락을 중시하는 제도주의 분석, 혹은 한국의 새마을운동 사례와 같이 거시정책·사례기반 접근도 빈곤퇴치 등 복잡한 사회경제 현상을 이해하는 데 중요하게 대두되고 있습니다[6][7].

---

3. 결론: 상호보완적 접근의 필요성

RCT는 내부 타당성이 높고, 인과관계 추론에 엄격한 근거를 제공하는 중요한 도구입니다. 하지만 한 연구·정책의 결과가 반드시 모든 상황에 동일하게 적용되지 않으며, 윤리, 비용, 현장 복잡성 등의 한계를 지니므로 전체 개발정책 연구를 단일 방법론으로 환원할 수 없습니다[1][2][3][4].

따라서 개발경제학에서는 RCT와 준실험적 방법, 구조모형, 질적 분석을 상호보완적으로 결합해 맥락에 맞는 해석과 정책 적용 가능성을 높이는 것이 점차적으로 강조되고 있습니다[1][2]. 이는 RCT의 “금본위” 지위만으로 경제발전의 복잡성을 충분히 설명할 수 없으며, 실제 정책 설계와 실행에서는 다층적 접근법이 필요함을 시사합니다.