대규모 언어모델(LLM)의 성능을 평가할 때, 프롬프트(prompt)의 미묘한 형식 차이가 모델의 점수를 크게 변화시켜 순위표의 결론까지 뒤바꿀 수 있다는 연구 결과가 나왔습니다. 아르카이브(arXiv)에 발표된 논문 '형식 민감도 지수(Format Sensitivity Index)'에 따르면, 프롬프트 래퍼(wrapper)의 단순한 형식 변경만으로도 모델의 정확도와 응답 파싱(parsing) 가능성이 크게 달라질 수 있다고 합니다. 이는 현재 LLM 벤치마킹 방식의 통계적 취약성을 지적하며, 보다 견고한 평가 방법의 필요성을 강조합니다.
연구팀은 토큰(token) 제어 프로토콜 하에서 이러한 변동성을 분석하기 위해 두 가지 보완적인 지표를 도입했습니다. 하나는 '형식 민감도 지수(FSI, Format Sensitivity Index)'로, 래퍼 선택에 따라 유도되는 정확도 범위를 나타냅니다. 다른 하나는 '파싱 가능성 민감도 지수(PSI, Parseability Sensitivity Index)'로, 응답 파싱 가능성의 해당 범위를 측정합니다. 7가지 질의응답(QA) 작업, 5가지 래퍼 계열, 그리고 7B에서 72B 매개변수(parameter)를 가진 4가지 인스트럭트(instruct) 모델에 걸쳐 14만 건의 오픈라우터(OpenRouter) 생성 데이터를 분석한 결과, 평균 FSI는 모델에 따라 30배 이상 차이가 났으며, 이는 주로 응답이 의도한 스키마(schema)를 따르지 못하는 '준수 실패(compliance failures)' 때문인 것으로 밝혀졌습니다.
고정 효과 회귀 분석(fixed-effects regression) 결과, 작업, 모델, 래퍼를 통제한 후에도 파싱 가능성(parseability)은 정확도(accuracy)의 강력한 예측 변수로 남아 있었습니다. 이는 LLM이 아무리 정확한 정보를 생성하더라도, 그 정보가 사용자가 원하는 형식으로 정확히 파싱되지 않으면 실질적인 가치가 떨어진다는 것을 의미합니다. 따라서 연구팀은 래퍼 변동성과 준수 여부를 고려하지 않고 정확도만 보고하는 것은 통계적으로 취약하다고 주장하며, 벤치마킹과 구조화된 출력 배포(structured-output deployments) 모두에 대한 실용적인 권장 사항을 제시했습니다. 이 연구는 LLM의 실제 적용 및 평가에 있어 프롬프트 형식의 중요성을 재조명하며, 개발자들이 보다 견고하고 신뢰할 수 있는 LLM 기반 애플리케이션을 구축하는 데 필요한 통찰력을 제공합니다.