대규모 언어모델(LLM)의 기억력과 검색 증강 생성(RAG) 시스템을 평가할 때, 모델에 입력되는 정보의 '형식'이 결과에 미치는 영향이 크다는 사실이 밝혀졌습니다. 기존 평가 방식은 이러한 입력 형식을 단순한 구현 세부 사항으로 간주했지만, 새로운 연구는 대화 기록이 기억 항목, 요약, 유형화된 기록 또는 원문 발췌본 등 어떤 형태로 제시되느냐에 따라 LLM의 성능이 크게 달라질 수 있음을 보여줍니다.
이 연구는 'RENDER'라는 새로운 벤치마크를 도입하여 이러한 현상을 체계적으로 분석했습니다. RENDER는 대화 내용은 고정하되, 독자에게 보여지는 정보의 형태(reader-facing artifact)를 다양하게 변화시키는 방식으로 LLM을 평가합니다. 이 벤치마크는 답변에 필요한 내용이 입력에 언제 포함되는지를 파악하는 5단계 '패킷 래더'와 함께, ChatGPT(챗GPT) 스타일 항목, 랭체인(LangChain) 요약, 멤GPT(MemGPT) 스타일 유형화된 기록, 그리고 원본 대화 등 다양한 템플릿을 활용합니다. 500개의 롱멤이발(LongMemEval) 질문과 9개 모델을 대상으로 실험한 결과, 예산이 동일하게 설정된 경우에도 '정리된 패킷'이 최근 대화 원문을 단순히 잘라낸 방식보다 42.4~72.6점 더 높은 성능을 보였습니다. 실제 배포 환경과 유사한 템플릿에서는 모델별로 24.6~48.8점의 성능 차이가 나타났으며, 9개 모델 중 7개에서 챗GPT 스타일 항목이 원본 대화보다 높은 점수를 기록했습니다. 특히, 공식 원장(formal ledger) 패킷에서 0점을 기록한 세 모델이 자연어 항목에서는 45.4~53.4%의 정답률을 보이며, 입력 형식의 중요성을 다시 한번 입증했습니다.
이 연구 결과는 LLM의 기억력 및 RAG 시스템 평가 방식에 대한 중요한 재고를 요구합니다. 단순히 모델의 성능만을 측정하는 것을 넘어, 사용자에게 정보를 어떤 형태로 제시하느냐가 모델의 최종 답변 품질에 결정적인 영향을 미친다는 점을 시사하기 때문입니다. 이는 LLM 기반 애플리케이션 개발 시 사용자 경험(UX)과 프롬프트 엔지니어링(prompt engineering)의 중요성을 더욱 강조하며, 향후 LLM 평가 벤치마크는 '독자에게 보여지는 아티팩트'를 명시하거나 제어해야 할 필요가 있음을 보여줍니다. 결국, 동일한 정보라도 어떻게 가공하여 LLM에 전달하느냐에 따라 그 활용 가치가 크게 달라질 수 있다는 점을 개발자와 사용자 모두 인지해야 할 것입니다.