tlooto
Sign up

AI가 다양한 분야의 의사결정에 도입되면서, 사용자가 시스템을 얼마나 신뢰하느냐가 그 활용 성공의 핵심 요인이 되고 있다. 본 글은 인간–AI 상호작용에서 신뢰 형성을 유도하는 주요 요인들을 탐색한다. 주요 요인으로는 결과의 설명 가능성, AI의 일관된 성능에 대한 인식, 사용자에게 제공되는 피드백과 제어권 등이 있다. 특히 의료, 금융, 교육 등 도메인별 사례를 통해, 사용자가 어떤 맥락에서 AI를 수용하거나 거부하는지를 보여준다. 마지막으로, 신뢰를 지나치게 높이거나 낮추는 것이 모두 문제가 될 수 있으므로, **신뢰 조율(trust calibration)**이 가능한 설계가 필요함을 제안한다.

AI가 다양한 분야의 의사결정에 도입되면서, 사용자가 시스템을 얼마나 신뢰하느냐가 그 활용 성공의 핵심 요인이 되고 있다. 본 글은 인간–AI 상호작용에서 신뢰 형성을 유도하는 주요 요인들을 탐색한다.

주요 요인으로는 결과의 설명 가능성, AI의 일관된 성능에 대한 인식, 사용자에게 제공되는 피드백과 제어권 등이 있다. 특히 의료, 금융, 교육 등 도메인별 사례를 통해, 사용자가 어떤 맥락에서 AI를 수용하거나 거부하는지를 보여준다.

마지막으로, 신뢰를 지나치게 높이거나 낮추는 것이 모두 문제가 될 수 있으므로, 신뢰 조율(trust calibration)이 가능한 설계가 필요함을 제안한다.

AI가 다양한 분야의 의사결정에 도입되면서, 사용자가 시스템을 얼마나 신뢰하느냐가 그 활용 성공의 핵심 요인이 되고 있다[1][2][3]. 본 글은 인간–AI 상호작용에서 신뢰 형성을 유도하는 주요 요인들을 탐색한다.

주요 요인으로는 결과의 설명 가능성[4][5][6][7][8][9][2], AI의 일관된 성능에 대한 인식[10][1][11][12][8][9][3], 사용자에게 제공되는 피드백과 제어권 등이 있다[11][6][9][2]. 특히 의료, 금융, 교육 등 도메인별 사례를 통해, 사용자가 어떤 맥락에서 AI를 수용하거나 거부하는지를 보여준다[1][13][12][8][2][3].

마지막으로, 신뢰를 지나치게 높이거나 낮추는 것이 모두 문제가 될 수 있으므로, 신뢰 조율(trust calibration)이 가능한 설계가 필요함을 제안한다[11][6][9][14].

참고문헌 선정 및 관련성 설명위 인용문헌은 문장별로 논거를 뒷받침할 수 있도록 최근(2019–2024년)의 peer-reviewed 논문 중에서 선별하였다.

  • AI 신뢰가 활용 성공의 핵심 조건임을 보이기 위해 보건의료, 일반 기술 수용에 관한 실증 및 리뷰 논문[1][2][3]을 사용하였다.
  • 신뢰 형성 요인(설명 가능성, 성능 인식, 피드백/제어권) 관련 근거는 의료 분야 위주로, 설명 가능성을 다룬 XAI, 투명성, 설명적 설계 논문[4][5][6][7][8][9][2]와, 성능 신뢰성이 결정적이라는 논문[10][1][11][12][8][9][3]을 포함하였다.
  • 사용자의 수용·거부 사례는 도메인(의료, 자율주행 등)별 정성적·정량적 사례 논문[1][13][12][8][2][3]을 반영하였다.
  • 신뢰 조율(trust calibration) 필요성은 이 개념을 직접적으로 다루거나 실험적으로 검증한 논문[11][6][9][14]을 적용하였다.

각 논문들은 질문 본문에서 제시한 핵심 논점(신뢰의 중요성, 형성 요인, 도메인별 차이, 신뢰 조율 필요성)을 정확히 뒷받침하고 있으므로, 선정의 타당성과 적합성을 갖춘 근거 자료라고 판단하였다.

References
  1. [1]

    ASAN, Onur; BAYRAK, A. E.; CHOUDHURY, Avishek. Artificial intelligence and human trust in healthcare: Focus on clinicians. Journal of Medical Internet Research, 2019. https://doi.org/10.2196/15154.

  2. [2]

    SHEVTSOVA, Daria, et al. Trust in and acceptance of artificial intelligence applications in medicine: Mixed methods study. JMIR Human Factors, 2024. https://doi.org/10.2196/47031.

  3. [3]

    ZHAN, Xiao, et al. Healthcare voice AI assistants: Factors influencing trust and intention to use [preprint]. arXiv, 2024. arXiv:2401.04543. https://doi.org/10.1145/3637339.

  4. [4]

    NAZAR, Mobeen, et al. A systematic review of human-computer interaction and explainable artificial intelligence in healthcare with artificial intelligence techniques. IEEE Access, 2021. https://doi.org/10.1109/access.2021.3127881.

  5. [5]

    FUHRMAN, Jordan D., et al. A review of explainable and interpretable AI with applications in COVID‐19 imaging. Medical Physics, 2021. https://doi.org/10.1002/mp.15359.

  6. [6]

    NAISEH, Mohammad, et al. Explainable recommendations and calibrated trust: Two systematic user errors. Computer, 2021. https://doi.org/10.1109/mc.2021.3076131.

  7. [7]

    LARASATI, Retno; LIDDO, Anna De; MOTTA, Enrico. Meaningful explanation effect on user’s trust in an AI medical system: Designing explanations for non-expert users. ACM Transactions on Interactive Intelligent Systems, 2023. https://doi.org/10.1145/3631614.

  8. [8]

    CHEUNG, J.; HO, Shirley S. Explainable AI and trust: How news media shapes public support for AI-powered autonomous passenger drones. Public Understanding of Science, 2024. https://doi.org/10.1177/09636625241291192.

  9. [9]

    BENDA, Natalie C., et al. Trust in AI: Why we should be designing for APPROPRIATE reliance. Journal of the American Medical Informatics Association: JAMIA, 2021. https://doi.org/10.1093/jamia/ocab238.

  10. [10]

    DURÁN, J.; JONGSMA, K. Who is afraid of black box algorithms? On the epistemological and ethical basis of trust in medical AI. Journal of Medical Ethics, 2021. https://doi.org/10.1136/medethics-2020-106820.

  11. [11]

    OKAMURA, Kazuo; YAMADA, S. Adaptive trust calibration for human-ai collaboration. PLoS ONE, 2020. https://doi.org/10.1371/journal.pone.0229132.

  12. [12]

    KIM, Hyung Min, et al. Evaluation of the clinical efficacy and trust in AI-Assisted embryo ranking: Survey-based prospective study. Journal of Medical Internet Research, 2023. https://doi.org/10.2196/52637.

  13. [13]

    KREPS, S., et al. Exploring the artificial intelligence “trust paradox”: Evidence from a survey experiment in the United States. PLOS ONE, 2023. https://doi.org/10.1371/journal.pone.0288109.

  14. [14]

    LEE, Min Hun; CHEW, Chong Jun. Understanding the effect of counterfactual explanations on trust and reliance on AI for human-ai collaborative clinical decision making [preprint]. arXiv, 2023. arXiv:2308.04375. https://doi.org/10.1145/3610218.

tlooto can make mistakes. Check important information against the original sources.