최신 대규모 언어모델(LLM)들이 작성자의 나이를 추론하는 과제에서 심각한 오류를 보이며, 높은 자신감과 달리 실제 정확도는 매우 낮은 것으로 나타났습니다. 브라이언 리(Brianne Lee)의 연구에 따르면, GPT-4o, Grok 4.5, DeepSeek V4 등 주요 모델들은 17세, 28세, 45세 세 명의 학생이 작성한 에세이를 보고 작성자의 나이를 맞추는 실험에서 무작위 추측 수준인 33% 이하의 정확도를 기록했습니다. 그럼에도 불구하고 이들은 73~88%에 달하는 높은 자신감을 보였습니다.
이 연구는 기존 벤치마크와 달리, 실제 환경에서 수집된 반(反)고정관념적 텍스트를 활용해 6개 모델, 6가지 조건, 6가지 답변 순서 조합으로 총 3,225회의 심층적인 API 세션을 진행했습니다. 특히 17세 학생이 교사에게 제출하기 위해 격식 있게 작성한 답변을 대부분의 LLM은 20대 후반 여성이나 중년 남성의 것으로 오인했습니다. 이는 '격식 있는 글은 나이 든 사람이 쓴다'는 식의 고정관념에 기반한 추론(inference)이 모델의 판단에 크게 작용했음을 보여줍니다. 또한, 정답을 알려준 후에도 모델의 행동이 개선되지 않는 '고백 없는 교정(Confession without correction)' 현상이 관찰되어, 모델이 자신의 실수를 인지하더라도 다음 추론에 반영하지 못하는 한계를 드러냈습니다.
이번 연구 결과는 LLM의 신뢰성과 평가 방식에 대한 중요한 시사점을 제공합니다. 단순히 정량적인 정확도 수치만으로는 모델의 실제 능력을 판단하기 어렵다는 점, 그리고 모델이 표출하는 '자신감'이 실제 정확도와는 무관할 수 있다는 점을 보여줍니다. 특히 고정관념에 기반한 추론 오류는 편향성 문제를 다시 한번 상기시키며, LLM을 사회적 맥락이 중요한 분야에 적용할 때 더욱 신중해야 함을 강조합니다. 이는 LLM 개발자들이 모델의 내재된 편향을 줄이고, 인간의 복잡한 사회적, 문화적 맥락을 더 잘 이해하도록 개선해야 할 과제를 안겨줍니다.