모티프테크놀로지스가 정부의 '독자 AI 파운데이션 모델(독파모)' 사업 2차 단계평가 결과에 공식적으로 이의를 제기했습니다. 모티프는 글로벌 AI 종합 성능 지표인 AAII(Artificial Analysis Index)에서 참여 모델 중 가장 높은 점수를 받았음에도 불구하고, 종합 평가에서는 최하위로 탈락했기 때문입니다. 이에 모티프는 평가 항목별 세부 점수, 배점 산식, 전문가 및 사용자 평가의 판단 근거를 투명하게 공개해 줄 것을 요구했습니다.
독파모는 정부가 국내 기업의 대규모 AI 기반 모델 개발을 지원하는 사업으로, 과학기술정보통신부(과기정통부)와 정보통신산업진흥원(NIPA)이 주관합니다. 2차 단계평가에서는 업스테이지, SK텔레콤, LG AI연구원 세 팀이 다음 단계로 진출했으며, 모티프테크놀로지스는 탈락했습니다. 평가는 벤치마크(40점), 전문가 평가(35점), 사용자 평가(25점)로 구성된 100점 만점 체계였습니다. 특히 벤치마크 40점은 글로벌 평가지표 AAII(25점)와 한국지능정보사회진흥원(NIA) 벤치마크(15점)로 나뉘었습니다. 모티프는 자체 모델 '모티프 3'가 AAII에서 47점을 기록하며 업스테이지(37점), SK텔레콤(35점), LG AI연구원(31점)보다 높은 점수를 받았음에도 종합 점수에서는 최하위를 기록해 탈락했다고 밝혔습니다. 과기정통부는 모티프의 기술력은 뛰어났으나, 사용성 및 활용성 부분에서 상대적으로 낮은 평가를 받았다고 설명했습니다.
모티프는 평가 결과 자체는 받아들이지만, 벤치마크 성능과 다른 평가 항목의 결과가 크게 엇갈린 이유를 업계가 납득할 수 있도록 설명해야 한다는 입장입니다. 특히 AAII 원점수를 25점 만점으로 환산하는 방식이 실제 성능 차이를 충분히 반영하지 못한다고 지적했습니다. 또한, 전문가 평가에서 AAII 점수가 가장 낮았던 LG AI연구원이 1위를 차지한 것에 대해 개발 전략, 기술, 성과, 계획 등 항목에서 어떤 판단이 내려졌는지 근거를 공개하라고 요구했습니다. 사용자 평가의 경우, 대기업과 스타트업 모델을 일반 사용자가 평가할 때 브랜드 인지도나 선입견이 영향을 미칠 수 있으므로 블라인드 평가 적용 여부와 방식에 대한 설명을 요청했습니다.
정부는 독파모 사업이 단순히 벤치마크 성능만으로 국가대표 모델을 선발하는 것이 아니라 서비스 목표와 실제 사용자의 평가도 중요한 요소라고 강조했습니다. 또한, 평가 기준은 참여 기업들과 협의를 거쳐 마련되었다고 밝혔습니다. 이번 이의 제기를 계기로 과기정통부는 평가 절차와 형식상 부당함이 있었는지 검토하고, 업체별 세부 점수 공개 범위와 3차 평가제도 개편 방향에 대한 논의를 진행할 예정입니다. 모티프는 이번 이의 제기가 재선정을 요구하는 것이 아니며, 이의 제기 결과와 무관하게 3차 평가에는 참여하지 않겠다고 밝혔습니다. 이는 파운데이션 모델의 가치가 특정 챗봇의 사용성보다는 여러 영역으로 확장 가능한 기반 성능에 있다고 보기 때문입니다.