최근 AI 시스템이 점점 더 복잡해지면서, 여러 모델과 구성 요소가 얽힌 복합 AI 시스템(Compound AI Systems)에서 오류가 발생했을 때 그 원인을 정확히 찾아내는 것이 큰 과제가 되고 있습니다. 이러한 문제를 해결하기 위해 'Evals'라는 새로운 접근 방식이 제시되었는데, 이는 시스템의 각 단계에서 평가(evaluation)를 수행하여 오류가 어디서 시작되었는지 파악하는 데 중점을 둡니다.
기존에는 복합 AI 시스템에서 오류가 발생하면 전체 시스템을 디버깅하는 데 많은 시간과 노력이 필요했습니다. 하지만 'Evals'는 시스템을 구성하는 개별 AI 모델이나 모듈, 그리고 이들 간의 상호작용 지점을 평가하여 문제 발생 지점(Fault Localization)을 좁혀나갑니다. 예를 들어, 대규모 언어모델(LLM)이 포함된 챗봇 시스템에서 부정확한 답변이 나왔을 때, 'Evals'는 사용자 입력 처리, LLM 추론(inference), 외부 데이터 검색 등 각 단계의 출력을 평가하여 어느 단계에서 오류가 발생했는지 식별할 수 있습니다. 이는 마치 소프트웨어 개발에서 단위 테스트(Unit Test)를 통해 특정 코드 블록의 오류를 찾아내는 것과 유사합니다.
이러한 'Evals' 접근 방식은 복잡한 AI 시스템의 개발 및 운영 효율성을 혁신적으로 개선할 잠재력을 가지고 있습니다. 오류 진단 시간을 단축하고, 개발자가 문제의 근본 원인을 더 빠르게 해결할 수 있도록 돕기 때문입니다. 궁극적으로 이는 AI 시스템의 신뢰성과 안정성을 높여, 기업들이 AI 기술을 실제 서비스에 더욱 적극적으로 도입하고 확장하는 데 기여할 것입니다. 특히 LLM 기반 애플리케이션의 품질 관리와 지속적인 개선에 필수적인 방법론으로 자리매김할 것으로 예상됩니다.