애플 머신러닝 연구팀이 기계 번역(MT) 시스템의 품질을 평가하는 데 대규모 언어모델(LLM)을 활용한 연구 결과를 공개했습니다. 이 연구는 LLM이 번역 오류를 찾아내고 평가하는 데 어느 정도의 역량을 보이는지 탐색했으며, 그 결과 LLM이 특정 유형의 오류 감지에는 유용하지만, 전반적인 번역 품질 평가에서는 여전히 한계가 있음을 보여주었습니다.
연구에 따르면, LLM은 문법적 오류나 누락된 단어와 같은 명확한 오류 유형을 식별하는 데는 뛰어난 성능을 보였습니다. 그러나 문맥적 적절성, 미묘한 의미 차이, 문화적 뉘앙스 등 복잡하고 주관적인 평가에서는 사람 평가자(human annotator)와 마찬가지로 어려움을 겪는 것으로 나타났습니다. 이는 번역 품질 평가가 단순히 오류를 찾아내는 것을 넘어, 언어와 문화에 대한 깊은 이해를 요구하는 복합적인 작업임을 시사합니다.
이번 연구 결과는 LLM이 기계 번역 품질 평가의 완전한 대체재가 될 수 없으며, 오히려 보조적인 도구로서의 가능성을 제시합니다. 특히, 대량의 번역 데이터를 빠르고 일관되게 1차 검수하는 용도로 LLM을 활용하고, 이후 사람 평가자가 더 복잡하고 미묘한 부분을 검토하는 하이브리드 접근 방식이 효과적일 수 있습니다. 이는 번역 품질 평가 프로세스의 효율성을 높이는 동시에, 최종 결과물의 정확도를 확보하는 데 기여할 것입니다.