최근 한 연구에서 대규모 언어모델(LLM)이 생성한 자서전의 사실성을 검증한 결과, 대부분의 내용이 실제와 다른 '환각(confabulation)' 현상을 보인다는 충격적인 결과가 나왔습니다. 연구 저자인 헤더 렌즈(Heather Renze)는 자신의 실제 삶 기록을 바탕으로 LLM에게 366일 분량의 '하루 한 페이지' 형식 자서전을 작성하게 한 뒤, 각 장면(scene)별로 사실 여부를 철저히 감사했습니다. 그 결과, 전체 366일 중 354일(96.7%)의 내용이 실제 기록과 일치하지 않는 것으로 나타났습니다.
이 연구는 LLM이 생성한 자서전을 실제 기록과 비교하여 정량적으로 감사한 첫 사례로 알려져 있습니다. LLM은 템플릿, 두 개의 예시 날짜, 그리고 매일의 인용문만을 입력받아 자서전을 작성했으며, 저자의 실제 삶에 대한 상세한 정보는 주어지지 않았습니다. 감사 결과, 단 12일만이 실제 기록과 일치하는 장면을 포함했으며, 19일(5.2%)은 실제 기록과 명백히 모순되는 주장을 담고 있었습니다. 가장 흔한 오류 유형은 '근거 있는 표류(grounded drift)'로, 실제 인물, 직장, 배경은 등장하지만 내용은 완전히 지어낸 장면이었습니다. 현재의 다른 LLM으로 같은 작업을 반복했을 때도 100%의 환각률을 보였으며, 심지어 저자의 실제 삶 기록을 LLM에 입력하여 생성했을 때도 환각률이 83.3%에 달해, 여전히 상당한 오류가 발생했습니다.
이번 연구 결과는 LLM이 사실 기반의 텍스트를 생성할 때 여전히 높은 수준의 환각 문제를 안고 있음을 명확히 보여줍니다. 특히, 실제 데이터를 기반으로 생성하더라도 환각이 완전히 해소되지 않는다는 점은 LLM의 신뢰성 확보가 얼마나 어려운 과제인지를 시사합니다. 이는 LLM을 이용해 뉴스 기사, 보고서, 개인 기록 등 사실 전달이 중요한 콘텐츠를 생성할 때 매우 신중해야 함을 의미합니다. 사용자는 LLM이 생성한 정보에 대해 항상 비판적인 시각을 유지하고, 필요하다면 추가적인 사실 확인 절차를 거쳐야 할 것입니다. LLM 기술의 발전과 함께 환각 문제를 해결하기 위한 연구와 기술 개발이 더욱 중요해질 전망입니다.