최근 한 개발자가 카카오톡 주문 메시지를 상품 코드로 변환하는 대규모 언어모델(LLM) 파이프라인을 구축하면서 흥미로운 경험을 공유했습니다. 그는 모델 개발에 앞서 29개의 테스트 케이스와 정답지, 채점기를 먼저 만들었는데, 이 과정에서 정작 자신이 만든 정답지가 3번, 채점기가 2번 틀리는 역설적인 상황에 직면했습니다. 모델이 '확인 필요'라고 되물은 것이 오히려 정답이었던 것입니다.
이 개발자는 두 가지 LLM 모델(Haiku 4.5와 Sonnet 5)을 사용해 테스트를 진행했습니다. 테스트 케이스에는 같은 이름의 상품 2종, 비슷한 규격의 상품 5종 등 혼동을 유발하는 함정을 의도적으로 심어두었습니다. 그 결과 두 모델 모두 치명적인 오류 없이 테스트를 통과했으며, 특히 저렴한 Haiku 4.5 모델과 3배 비싼 Sonnet 5 모델 간의 성능 차이는 단 1문제에 불과했습니다. 개발자는 애매한 문제의 정답은 '확인 필요'로 두는 규칙을 적용했고, 잘린 JSON 복구 및 판정 필드 우선 채점과 같은 채점기 버그 2건도 발견하여 수정했습니다.
이 사례는 LLM 기반 시스템을 개발할 때 인간의 편향이나 오류 가능성을 간과해서는 안 된다는 중요한 시사점을 던집니다. AI 모델의 성능을 검증하기 위한 테스트 시스템조차 완벽하지 않을 수 있으며, 오히려 AI가 인간의 실수를 찾아내는 '역검증' 역할을 할 수 있음을 보여줍니다. 이는 LLM의 잠재력을 최대한 활용하고 신뢰할 수 있는 AI 서비스를 구축하기 위해선, 모델 자체의 성능뿐만 아니라 이를 검증하는 파이프라인의 견고함과 지속적인 개선이 필수적임을 강조합니다. 결국, AI 시스템의 성공은 단순히 모델의 정확도를 넘어, 전체 개발 및 검증 과정의 완성도에 달려있다고 할 수 있습니다.