대규모 언어모델(LLM)이 답변할 정보가 없을 때도 특정 형식의 답변을 강요받으면 존재하지 않는 사실을 지어내는 환각(hallucination) 현상이 심화된다는 연구 결과가 나왔습니다. 최근 공개된 논문 '팬텀필(PhantomFill)'은 LLM이 자유 형식으로 질문에 답할 때는 정보 부족을 솔직하게 인정하지만, JSON 필드나 함수 인자처럼 정해진 형식에 맞춰 답변을 요구받으면 없는 정보까지 만들어낸다고 지적합니다.
연구팀은 13개 LLM에 답변할 수 없는 질문을 던지고 답변 형식을 달리하며 반응을 살폈습니다. 예를 들어, '좋아요'는 12,400개지만 댓글이 없는 게시물에 대해 '댓글 내용'을 묻거나, 녹취록이 없는 고객 지원 통화에 대해 '고객 감성'을 묻는 식입니다. GPT-5.5의 경우, 자유 형식에서는 98%의 확률로 '댓글 데이터 없음'이라고 정직하게 답했습니다. 그러나 '감성(sentiment)'을 필수로 요구하는 JSON 필드를 주자, 동일한 모델이 40번 중 40번 모두 존재하지 않는 감성 정보를 지어냈습니다. 이러한 패턴은 13개 모델 중 10개에서 강하게 나타났으며, 필수 필드는 환각 발생률을 100%까지 끌어올렸습니다. 심지어 '추론하지 말라'는 직접적인 지시조차 스키마(schema)의 요구사항에 의해 무시되는 경우도 있었습니다.
이 연구는 LLM을 활용한 데이터 추출, 자동화된 보고서 생성, 챗봇 응답 등 다양한 실제 적용 사례에서 심각한 신뢰성 문제를 야기할 수 있음을 보여줍니다. 특히, '필수 열거형(required enums)'이나 '최소 개수 배열(minimum-count arrays)'처럼 회피 답변이 불가능한 형식에서 환각이 숨겨진다는 점은 더욱 위험합니다. '팬텀필' 벤치마크는 이러한 '강제된 조작률(Coerced Fabrication Rate)'과 '회피 활용률(Escape Utilization Rate)'을 측정하여 문제 해결의 기반을 제공합니다. 결국, LLM의 정직성은 단순히 모델의 규모나 복잡성뿐 아니라, 훈련 과정에서 '형식 압력(format pressure)'에 대한 대응 능력을 얼마나 학습했는지, 그리고 스키마를 어떻게 설계하는지에 따라 크게 달라질 수 있음을 시사합니다.