tlooto
Sign up

고위험 의사결정 시스템에서 AI의 한계는 어디까지인가?

고위험 의사결정 시스템에서 AI의 한계는 어디까지인가?

July 11, 2025 at 7:21 AM

고위험 의사결정 시스템(High-Stakes Decision-Making Systems)에서 인공지능(AI)의 한계는 기술적·윤리적·사회적 차원에서 매우 구조적·복합적으로 드러납니다. 최근의 연구와 실제 사례들을 토대로 다음과 같이 심층적으로 집약할 수 있습니다.

1. 데이터와 알고리즘의 편향 및 차별적 결과

AI는 훈련 데이터의 특성과 알고리즘의 설계에 강하게 의존합니다. 실제로 의료, 사법, 금융 등의 고위험 영역에서 데이터를 통해 사회 구조적 편향(예: 인종, 성별, 경제적 배경)이 반영된 모델이 공정성을 저해하는 결과를 초래하고 있습니다. 예컨대 범죄 위험 예측, 채용, 신용평가 등에서 AI가 기존의 차별을 강화하거나 새로운 형태의 불평등을 생성한 사례가 반복적으로 보고되고 있습니다. 국내·외 규범은 이를 고위험 인공지능의 핵심 규제 대상으로 삼고 있으나, 실질적으로 데이터 편향을 제거하거나 공정성을 실현하는 구체적 방법론은 여전히 미비합니다[1][2].

2. 설명가능성의 제한과 블랙박스 문제

고위험 의사결정에는 결과에 대한 납득가능한 설명과 투명성이 필수적입니다. 그러나 최신 AI 시스템, 특히 딥러닝 계열 모델은 내부 처리과정이 복잡·불투명하여, 인간이 이해할 수 있는 수준의 인과적 설명을 제공하는 데 한계가 있습니다[3][4]. 이는 데이터 보호와 결과의 정당성 검증, 법적·도덕적 책임 배분 측면에서 심각한 문제로 이어집니다. EU AI Act를 비롯한 여러 법적 프레임워크에서 ‘설명가능성’을 필수 요건으로 규정하고 있지만, 현존 기술로는 완전한 인과적 설명이 불가하다는 분석도 제기됩니다[3][5].

3. 예측 오류와 불확실성

AI 모델은 본질적으로 확률적 추론을 수행하며, 오·판단의 위험에서 자유롭지 않습니다. 특히 데이터가 불완전하거나 맥락변화에 취약한 경우 고위험 상황에서는 치명적 오류로 이어질 수 있습니다. 의료 진단 AI의 오판단은 직접적으로 생명에 영향을 미치고, 형사사법 알고리즘의 오류는 인간의 자유 침해로 연결될 수 있습니다[4][6][7]. 또한, AI 조언을 받은 인간 전문가도 AI의 잘못된 추천을 충분히 걸러내지 못하는 경향이 있기에(human over-reliance) 예측 실패와 사회적 손해의 가능성은 여전히 큽니다[6][8][9].

4. 도덕적·정황적 판단 능력의 결여

AI는 윤리적·사회문화적 맥락을 이해하거나 도덕적 딜레마 상황에서 인간과 유사한 판단을 내리지 못합니다. 실제로 AI가 도출한 판단 결과는 상황의 맥락 정보(예: 긴급성, 본질적 인간 가치)를 반영하지 못하고, 도덕적 책임의 공백(moral responsibility gap)이 발생합니다. 인간은 AI와 달리 결과에 대해 정서적·윤리적 숙고를 할 수 있으나, AI는 입력데이터와 프로그래밍된 규칙에 제한받습니다[10][11][12].

5. 법적 책임 및 규제의 불확실성

AI가 내린 결정의 결과로 발생한 피해에 대해, 실제 책임이 설계자·운영자·사용자 중 누구에게 귀속되는가에 대해 법적 명확성이 부족합니다. 현행 법제도, 예를 들면 EU AI Act, 미국의 알고리즘 책임법은 고위험 AI에 대한 책임 배분 및 감독 의무를 명시하고 있으나, 정보 비대칭성 및 ‘블랙박스’ 알고리즘 특성상 실질적 입증 책임 혹은 구제 수단은 아직도 한계가 명확합니다[2][5].

6. 범용성 부족, 맥락적응의 한계

AI는 훈련 데이터의 범위를 벗어난 예외적 상황, 사회적·문화적 맥락 변화에 잘 적응하지 못합니다. 인종별, 문화별로 상이한 데이터 특성이 존재할 경우 다른 그룹에 대해 오류율이 급증하며, 한 국가에 맞춘 AI 모델이 다른 국가나 제도에서는 부적합한 결정을 유발할 수 있습니다[1][13].

7. 인간-AI 협력의 구조적 한계와 신뢰 조정 실패

고위험 영역에서 AI는 '협력자'이어야 하나, 실제로 인간 운영자들은 AI의 권위를 과신하여 원래의 전문가적 비판성과 직관을 망각(over-reliance)하거나, 반대로 AI 조언을 무시(disuse)하는 이중의 문제에 봉착합니다. 설명가능한 AI가 일부 도움을 줄 수 있지만, 인간 전문가의 경험이나 메타인지 능력이 부족할 때 AI 오류를 적시에 감지하거나 교정하기 어렵습니다[8][9][14][15][16][17]. 더불어, 설명이나 추천이 잘못됐을 때 오히려 신뢰도 하락과 AI 시스템 거부로 이어질 수 있음도 관찰되었습니다.

8. 제도·윤리 프레임워크의 현실적 한계

법률(예: 차별금지법, AI 규제법 등)이 기본권 침해, 차별, 데이터 보호 등과 관련된 일정한 통제 장치를 제공하나, 실제 의사결정 환경에서는 AI의 불투명성, 입증책임의 편재 등으로 인해 실효적 규제가 쉽지 않습니다. 글로벌 차원의 윤리 프레임워크(UNESCO, OECD, EU 등)와 현장 적용 간 간극이 여전하고, 관련자 모두의 감독·참여·피드백 구조 마련도 충분치 않습니다[1][2][12][18].

결론 및 정책적 시사점

정리하면, 고위험 의사결정 시스템에서 AI의 한계는 단순한 기술적 미성숙을 넘어, 근본적 신뢰/책임/공정성/맥락 인식/설명력의 부족, 현장 적용시 예측 불가능성을 안고 있습니다[17][18][19]. 이에 따라 다음과 같은 다층적 접근이 필수입니다.

  • 기술적 정책: 설명가능성 강화, 지속적인 위험평가, 알고리즘 투명화, 데이터 다양성·대표성 확보, 잔여 위험 최소화 도구 도입
  • 사회적·제도적 장치: 책임·감독 이원화, 영향평가 의무화, 정보접근권 보장, 피해구제 시스템 구축, 시민참여 및 신뢰 회복 메커니즘 설계
  • 윤리·법적 대응: 공정성·비차별 원칙 준수, 불투명성/입증책임 문제 완화, 신뢰성·안전성 기준 명확화

실질적으로 고위험 시스템에서 AI는 전면적 자율결정자가 아니라, 인간 전문가의 판단·책임 구조 안에서 적정하게 통제되고, 지속적으로 모니터링·평가되는 '첨단 도우미'로서 위치지워져야 함이 최신 연구 및 국제규범의 공통된 결론입니다[2][5][18][19]. AI의 역량 자체도 중요하지만, 무엇보다 '신뢰성과 책임성의 체계적 확보'가 동반되지 않으면 그 활용은 오히려 사회적 위험을 증폭시킬 수 있음을 분명히 인식해야 합니다.

References
  1. [1]

    KIM, Il Woo. 고위험 인공지능시스템의 차별에 관한 연구. 서강법률논총, 2024.

  2. [2]

    WOOCHUL, Lee. 인공지능시대 알고리즘 의사결정에 의한 차별과 인권보호방안에 관한 연구 — 유럽의 법적 규제에 관한 논의를 중심으로 —. 세계헌법연구, 2024.

  3. [3]

    HAMON, Ronan, et al. Bridging the gap between AI and explainability in the GDPR: Towards trustworthiness-by-design in automated decision-making. IEEE Computational Intelligence Magazine, 2022. https://doi.org/10.1109/mci.2021.3129960.

  4. [4]

    MCKAY, C. Predicting risk in criminal procedure: Actuarial tools, algorithms, AI and judicial decision-making. Current Issues in Criminal Justice, 2019. https://doi.org/10.1080/10345329.2019.1658694.

  5. [5]

    KIM, Chin-Woo. 유럽연합 인공지능법안에 따른 고위험 인공지능 시스템 공급자 등의 의무. 과학기술과 법, 2021.

  6. [6]

    JUSSUPOW, Ekaterina, et al. Augmenting medical diagnosis decisions? An investigation into physicians' decision-making process with artificial intelligence. Information System Res, 2021. https://doi.org/10.1287/isre.2020.0980.

  7. [7]

    LOFTUS, T., et al. Artificial intelligence and surgical decision-making. JAMA surgery, 2019. https://doi.org/10.1001/jamasurg.2019.4917.

  8. [8]

    JANSSEN, M., et al. Will algorithms blind people? The effect of explainable AI and decision-makers’ experience on AI-supported decision-making in government. Social Science Computer Review, 2020. https://doi.org/10.1177/0894439320980118.

  9. [9]

    CHIANG, Chun-Wei, et al. Are two heads better than one in AI-Assisted decision making? Comparing the behavior and performance of groups and individuals in human-ai collaborative recidivism risk assessment. Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems, 2023. https://doi.org/10.1145/3544548.3581015.

  10. [10]

    BRAUN, Matthias, et al. Primer on an ethics of AI-based decision support systems in the clinic. Journal of Medical Ethics, 2020. https://doi.org/10.1136/medethics-2019-105860.

  11. [11]

    LIMA, Gabriel; GRGIĆ-HLAČA, Nina; CHA, Meeyoung. Human perceptions on moral responsibility of AI: A case study in AI-Assisted bail decision-making [preprint]. arXiv, 2021. arXiv:2102.00625. https://doi.org/10.1145/3411764.3445260.

  12. [12]

    김한균. 고위험 인공지능에 대한 가치지향적 · 위험평가기반 형사정책. 형사정책, 2022. https://www.kci.go.kr/kciportal/ci/sereArticleSearch/ciSereArtiView.kci?sereArticleSearchBean.artiId=ART002839215.

  13. [13]

    ANDOLINA, S.; KONSTAN, J. Introduction to the special issue on AI, decision-making, and the impact on humans. International Journal of Human–Computer Interaction, 2023. https://doi.org/10.1080/10447318.2023.2175520.

  14. [14]

    EBERMANN, Carolin; SELISKY, Matthias; WEIBELZAHL, Stephan. Explainable AI: The effect of contradictory decisions and explanations on users’ acceptance of AI systems. International Journal of Human–Computer Interaction, 2022. https://doi.org/10.1080/10447318.2022.2126812.

  15. [15]

    MORRISON, Katelyn, et al. The impact of imperfect XAI on human-ai decision-making [preprint]. arXiv, 2023. arXiv:2307.13566. https://doi.org/10.1145/3641022.

  16. [16]

    MORRISON, K., et al. Evaluating the impact of human explanation strategies on human-ai visual decision-making. Proceedings of the ACM on Human-Computer Interaction, 2023. https://doi.org/10.1145/3579481.

  17. [17]

    LAI, Vivian, et al. Towards a science of human-ai decision making: A survey of empirical studies [preprint]. arXiv, 2021. arXiv:2112.11471. https://arxiv.org/abs/2112.11471.

  18. [18]

    CANTALLOPS, Marçal Mora; GARCÍA-BARRIOCANAL, E.; SICILIA, Miguel-Ángel. Trustworthy AI guidelines in biomedical decision-making applications: A scoping review. Big Data Cogn Computing, 2024. https://doi.org/10.3390/bdcc8070073.

  19. [19]

    STETTINGER, Georg; WEISSENSTEINER, Patrick; KHASTGIR, S. Trustworthiness assurance assessment for high-risk AI-Based systems. IEEE Access, 2024. https://doi.org/10.1109/access.2024.3364387.

July 11, 2025 at 7:21 AM

tlooto can make mistakes. Check important information against the original sources.