대규모 언어 모델(LLM) 기반 제품의 성공을 좌우하는 핵심 요소는 바로 '평가(Evals)'입니다. 700명 이상의 AI 엔지니어와 PM을 가르쳐 온 하멜 후세인(Hamel Husain) 팀이 LLM 응답의 품질을 판단하는 실용적인 방법을 담은 FAQ 문서를 공개했습니다. 이 문서는 단순한 벤치마크 점수가 아닌, 실제 사용자가 제품에서 경험하는 AI 응답의 좋고 나쁨을 판별하고 개선하는 데 초점을 맞춥니다.
가장 중요한 시작점은 평가 도구를 구매하기보다, 실제 사용자 기록 20~50개를 사람이 직접 읽고 오류를 분석하는 것입니다. 이 과정에서 발견된 실패 사례들을 묶어 평가 항목을 정의하며, 저자들은 실제 프로젝트에서 개발 시간의 60~80%가 이 에러 분석에 투입된다고 강조합니다. 채점은 1~5점 척도보다 '통과/실패' 이진법으로 진행하는 것이 채점자 간의 일관성을 확보하는 데 유리하며, 반복되는 실패에만 자동 채점기를 투자하고 프롬프트 수정으로 해결 가능한 문제는 즉시 개선하는 효율적인 접근을 권장합니다. 또한, 테스트 데이터는 사용자 유형, 요청 종류, 난이도 등 조건을 먼저 정의한 후 AI로 생성하고, 채점 기준은 해당 업무를 가장 잘 아는 전문가 1인이 정하는 것이 효과적이라고 조언합니다.
이 가이드는 AI 제품 개발자들이 흔히 겪는 오해를 바로잡습니다. 예를 들어, 'RAG(검색 증강 생성)가 죽었는가'라는 질문에 대해 특정 검색 방식의 한계일 뿐, 검색을 통해 자료를 찾아 답하는 방식 자체는 여전히 중요하다고 설명합니다. 또한, 모델 교체만으로 성능이 크게 개선될 것이라는 기대는 과대평가인 경우가 많으므로, 실패 기록을 면밀히 분석하여 모델이 실제 문제의 원인인지 먼저 확인해야 한다고 지적합니다. 검토용 화면을 직접 만들어 평가 속도를 10배 높일 수 있다는 조언은, 평가 과정의 효율성을 극대화하는 실질적인 투자로 꼽힙니다. 궁극적으로 이 문서는 AI 제품이 시장에서 성공하기 위해선 기술적 우수성뿐만 아니라, 실제 사용자 경험에 기반한 지속적인 평가와 개선이 필수적임을 역설합니다.