대규모 언어모델(LLM)이 일상과 업무에 깊숙이 들어오면서, LLM과 사람이 어떻게 효과적으로 협력할 수 있을지에 대한 연구가 활발합니다. 최근 발표된 연구 결과에 따르면, LLM과 인간 독자의 협업 성과는 모델이 자신의 답변에 대해 얼마나 '자신감'을 표현하는지, 그리고 정보를 받아들이는 독자가 해당 분야에 얼마나 '전문성'을 가지고 있는지에 따라 크게 달라지는 것으로 나타났습니다.
이 연구는 특히 의료 분야의 방사선 보고서 작성을 예시로 들어 진행되었습니다. LLM이 생성한 보고서에 대해 모델이 '확신한다' 또는 '확신하지 못한다'는 식의 자신감 점수를 함께 제시했을 때, 인간 독자들은 이를 바탕으로 최종 결정을 내리는 데 영향을 받았습니다. 흥미로운 점은, 모델이 불확실성을 명확히 표현했을 때, 즉 '잘 모르겠다'고 했을 때, 전문가 독자들은 이를 중요한 신호로 받아들여 더 신중하게 판단하고 오류를 줄이는 경향을 보였습니다. 반면, 비전문가 독자들은 모델의 자신감 표현에 덜 민감하게 반응하거나, 오히려 잘못된 확신에 이끌리는 경우도 있었습니다.
이러한 연구 결과는 LLM 기반 시스템을 설계하고 실제 환경에 적용할 때 중요한 고려사항을 제시합니다. 단순히 정확도 높은 모델을 만드는 것을 넘어, 모델이 자신의 한계와 불확실성을 사용자에게 어떻게 전달할지, 그리고 어떤 전문성을 가진 사용자가 이 시스템을 활용할지에 대한 깊은 이해가 필요하다는 의미입니다. 앞으로 LLM은 다양한 분야에서 인간의 의사결정을 돕는 도구로 활용될 것이므로, 모델의 '메타인지(자신이 무엇을 알고 모르는지 아는 능력)'를 향상시키고, 사용자 인터페이스(UI)를 통해 이를 효과적으로 전달하는 기술이 더욱 중요해질 것입니다. 이는 AI의 신뢰성을 높이고 인간-AI 협업의 잠재력을 극대화하는 데 필수적인 요소입니다.