에어비앤비(Airbnb)가 생성형 AI(GenAI) 제품 개발에 있어 '평가 주도 개발(Eval-driven development, EDD)'이라는 혁신적인 접근 방식을 채택했습니다. 이는 전통적인 소프트웨어 테스트 방식으로는 한계가 있는 대규모 언어모델(LLM)의 비결정적 출력과 주관적인 정답 문제를 해결하기 위한 전략입니다. 에어비앤비는 평가를 개발 과정의 사후 검증이 아닌, 제품의 성공을 좌우하는 핵심 엔지니어링 규율로 격상시켜 실제 사용자 실패 사례를 발견하고 이를 평가 기준으로 삼아 지속적으로 제품을 개선하고 있습니다.
평가 주도 개발(EDD)은 크게 다섯 가지 원칙을 기반으로 합니다. 첫째, 목표와 출시 게이트를 사전에 명확히 정의하여 최적화할 대상과 출시 전 충족해야 할 조건을 설정합니다. 둘째, 실제 관찰된 오류를 바탕으로 여러 직군의 파트너와 협력하여 지표를 공동 개발하며, 현실과 동떨어진 지표를 만들지 않습니다. 셋째, 모든 것을 판단하는 단일 평가기 대신, 특정 정확성 차원 하나씩을 겨냥한 3~5개의 잘 보정된 평가기를 유지합니다. 넷째, 올바른 동작에 대한 팀 내 의견이 갈릴 때 최종 판단을 내릴 인간 의사결정자를 지정합니다. 마지막으로, 제품 파트너가 '무엇이 더 나은가', '무엇이 잘못되었는가'에 지속적으로 답하도록 협업하여 평가 과정에 깊이 관여하게 합니다.
에어비앤비는 세 가지 계층적 평가 방법을 사용합니다. 첫째, 결정론적 검사(Deterministic checks)는 LLM 호출 없이 코드 기반의 프로그램 검사와 휴리스틱(heuristic)을 통해 명백한 실패를 제거하는 초기 필터 역할을 합니다. 둘째, LLM 심판(LLM-as-a-Judge)은 더 강력한 LLM이 세밀하게 설계된 루브릭(rubric)에 따라 다른 LLM의 출력을 평가하는 방식입니다. 이는 인간 평가보다 적은 자원으로 미묘한 품질을 검사할 수 있으며, 특히 가상 심판(virtual judge)은 나쁜 사례를 포함한 50~100개의 골든 데이터셋(golden dataset)으로 인간과 80% 후반~90%대 일치하도록 보정하는 것이 중요합니다. 셋째, 인간 평가(Human evaluation)는 정답 데이터 구축, 고위험 영역 검증, 자동 평가기 간 불일치 해결에서 최종 기준 역할을 합니다. 특히 에이전트(agent) 시스템의 경우 최종 답변뿐만 아니라 실행 추적(execution trace)과 스팬(span)을 재구성하여 하위 에이전트 호출 시점, 도구 선택, 매개변수 및 중간 상태까지 검사하는 것이 중요합니다.
이러한 평가 주도 개발(EDD)은 단순히 좋은 모델을 만드는 것을 넘어, 실제로 작동하는 제품을 만들고 지속적으로 개선하는 데 필수적인 과정입니다. LLM의 비결정성과 주관적인 정답이라는 본질적인 문제를 극복하고, 실제 사용자 경험에 기반한 품질을 확보하는 데 기여합니다. 궁극적으로 AI 제품의 성공은 최고의 모델 자체보다는 명확한 제품 비전, 효과적인 평가 전략, 그리고 팀 간의 원활한 소통과 협업에 달려 있음을 시사합니다. 이는 GenAI 시대를 맞아 모든 기업이 고민해야 할 중요한 개발 패러다임 변화를 보여줍니다.