수억 명의 전 세계 사용자들이 스프레드시트 애플리케이션을 활용하고 있지만, 복잡한 수식(formula)을 직접 작성하는 것은 여전히 많은 이들에게 어려운 장벽으로 남아있습니다. 이러한 문제를 해결하기 위해 자연어(Natural Language, NL)를 스프레드시트 수식으로 변환하는 AI 모델들이 개발되어 왔지만, 기존 방식들은 제한된 정적 학습 데이터에 의존하여 성능 향상에 한계가 있었습니다.
최근 Cy Xie 연구원이 발표한 FORMULASPIN은 이러한 한계를 돌파하는 자기 학습(self-play) 프레임워크입니다. 이 방식은 추가적인 학습 데이터 없이도 AI 스스로 반복적인 개선을 통해 성능을 높이는 것이 특징입니다. 기존 자기 학습 방식(Vanilla SPIN)은 실행 결과가 다른 모든 출력을 단순히 오답으로 처리하여 모순된 학습을 유발했지만, FORMULASPIN은 스프레드시트 수식의 '실행 가능성(binary executability)'이라는 독특한 이점을 활용합니다. 즉, 수식이 문법적으로 올바르게 실행되는지 여부를 판단하여 의미론적 오류와 스타일적 변형을 구분하고, 이를 통해 AI가 의미 정확성에서 스타일 정교함으로 학습의 초점을 점진적으로 옮겨갈 수 있도록 합니다. 또한, 여러 유효한 수식 형태를 자연스럽게 처리하는 'ExecVote'라는 의미론적 투표 메커니즘을 통합하여 정확도를 더욱 높였습니다.
FORMULASPIN은 여러 벤치마크 테스트에서 최첨단 성능을 달성했습니다. NL2FORMULA 벤치마크에서 74.9%의 정확 일치(exact match)와 87.1%의 실행 정확도(execution accuracy)를 기록했는데, 이는 추가적인 선호도 주석(preference annotations)으로 학습된 모델들과 동등하거나, 기존 지도 미세조정(SFT) 방식 및 최신 상용 모델들을 능가하는 수준입니다. 이러한 결과는 데이터가 부족한 작업에서 자기 학습의 엄청난 잠재력을 보여주며, 스프레드시트와 같이 실행 가능성 피드백을 얻을 수 있는 도메인을 넘어 더 넓은 분야로 자기 학습 기술을 확장할 가능성을 열어주고 있습니다.