로컬 대규모 언어모델(LLM)의 성능을 측정할 때 샘플링 온도(temperature) 설정을 어떻게 해야 하는지에 대한 논란이 있었습니다. 특히 한국어 문서 기반 질의응답(RAG) 테스트에서 '온도 0'으로 실행한 결과에 대해, 특정 모델은 개발사가 권장하는 샘플링 값으로 측정해야 공정하다는 지적이 제기되었죠. 이에 RTX 3090 그래픽카드 환경에서 Qwen3.8 27B와 Nanbeige4.3 33B 모델을 대상으로 320개 한국어 문서 RAG 문항을 온도 0과 권장 설정으로 각각 재측정하는 실험이 진행되었습니다.
재측정 결과는 흥미로웠습니다. Qwen3.8 27B 모델의 경우, '생각 켬' 모드에서 77.3%에서 77.9%로, '생각 끔' 모드에서 71.2%에서 72.2%로 소폭 상승했지만, 통계적으로 유의미한 차이는 없었습니다(p값 0.75, 0.68). Nanbeige4.3 33B 모델은 '생각 켬' 모드에서 66.2%에서 70.6%로 상승했지만, 이는 출력 한도를 8,192토큰에서 20,480토큰으로 늘린 덕분이었고, 기존 한도에 걸리지 않은 문항만 비교했을 때는 성능 차이가 없었습니다. 오히려 온도를 높이면 모델이 끝없이 생각하다가 출력 한도에 걸려 잘리는 답변이 늘어나는 경향을 보였는데, 이는 모델의 창의성이나 다양성 증가보다는 불필요한 장황함으로 이어질 수 있음을 시사합니다.
이번 실험은 로컬 LLM의 성능 측정에서 샘플링 온도보다는 출력 토큰 한도와 같은 다른 요소들이 더 큰 영향을 미칠 수 있음을 보여줍니다. 특히 한국어 문서 RAG와 같이 특정 도메인에 특화된 작업에서는 모델이 얼마나 길고 정확하게 답변을 생성할 수 있는지가 중요하며, 무조건 온도를 높이는 것이 성능 향상으로 이어지지 않을 수 있습니다. 또한, 단 한 번의 측정에서 1~2%p의 차이는 '잡음'일 가능성이 높다는 점도 강조되어, LLM 벤치마크의 신뢰성을 높이기 위한 다각적인 접근의 중요성을 시사합니다. 이러한 결과는 향후 로컬 LLM 벤치마크 리더보드에 '카드 권장 샘플링' 칸을 추가하는 등 측정 기준을 더욱 정교하게 다듬는 데 기여할 것입니다.