AI 에이전트가 다양한 언어 환경에서도 일관된 성능을 유지하는지 검증하는 오픈소스 도구 '랭드리프트(LangDrift)'가 공개되어 주목받고 있습니다. 기존 AI 에이전트 테스트가 주로 영어에 집중되어 있었다면, 랭드리프트는 프랑스어, 아랍어, 중국어, 바스크어 등 여러 언어에서 에이전트의 도구 선택, 인자(argument) 사용, 응답 스크립트, 실패 모드 등이 어떻게 달라지는지 정밀하게 평가할 수 있도록 설계되었습니다. 이는 AI 현지화(localization)의 패러다임이 단순한 텍스트 번역을 넘어 에이전트의 '행동 일관성'으로 진화하고 있음을 시사합니다.
랭드리프트는 YAML 형식의 시나리오 파일을 통해 언어별 사용자 입력과 기대 행동을 정의하고, 이를 HTTP 엔드포인트로 연결된 AI 에이전트에 전송하여 결과를 검증합니다. 예를 들어, '환불 요청' 시나리오에서 영어와 프랑스어로 동일한 의도를 전달했을 때, 에이전트가 '환불 티켓 생성' 도구를 올바르게 호출하고 '중복 청구'와 같은 정확한 인자를 사용하는지 확인하는 방식입니다. 특히, 가짜 에이전트(fake agent)를 통해 스와힐리어(sw)나 중국어(zh)에서 의도적으로 도구 호출을 실패하도록 설정하여, 실제 API 키 없이도 다국어 환경에서의 행동 불일치 문제를 시연할 수 있습니다. 랭드리프트는 '도구 호출 없음(no_tool_call)', '잘못된 도구(wrong_tool)', '잘못된 인자(wrong_argument)' 등 다양한 실패 모드를 분류하고, CI/CD 파이프라인에 통합하여 자동화된 테스트가 가능하도록 지원합니다.
이 도구의 등장은 AI 에이전트 개발팀에게 중요한 의미를 가집니다. 기존 연구에서 영어는 통과했지만 바스크어, 요루바어, 스와힐리어, 중국어 등에서는 도구 호출 누락이나 잘못된 인자 사용 등 행동 불일치가 반복적으로 관찰되었으며, 이러한 약점은 여러 독립적인 모델에서 공통적으로 나타났습니다. 이는 특정 언어에 대한 편향된 학습 데이터나 모델 아키텍처의 한계로 인해 발생하는 문제로 해석될 수 있습니다. 랭드리프트는 이러한 '언어 간 행동 편차(behavioral drift)'를 체계적으로 식별하고 개선할 수 있는 기반을 제공함으로써, 전 세계 사용자에게 일관되고 신뢰할 수 있는 AI 서비스를 제공하는 데 필수적인 역할을 할 것입니다. 궁극적으로는 AI 에이전트의 다국어 성능과 사용자 경험을 한 단계 끌어올리는 데 기여할 것으로 기대됩니다.