애플 머신러닝 연구팀이 코드 생성 인공지능(AI)의 성능을 획기적으로 개선할 수 있는 '자기 증류(Self-Distillation)'라는 새로운 학습 방법을 발표했습니다. 이 기술은 대규모 언어모델(LLM)이 외부의 추가 데이터 없이도 스스로 생성한 고품질 코드와 설명을 활용하여 학습 능력을 향상시키는 것이 특징입니다. 이는 복잡한 데이터 라벨링이나 방대한 추가 학습 데이터 없이도 모델의 정확도와 효율성을 높일 수 있는 간단하면서도 강력한 접근 방식입니다.
자기 증류는 기본적으로 모델이 초기 단계에서 생성한 다양한 코드 후보군 중 가장 품질이 높은 것을 선별하고, 이에 대한 설명을 다시 생성하여 스스로 학습 데이터로 활용하는 방식입니다. 연구팀은 이 과정을 통해 모델이 단순히 코드를 생성하는 것을 넘어, 생성된 코드의 의도를 더 깊이 이해하고 스스로 오류를 수정하며 더 나은 코드를 만들도록 훈련시켰습니다. 특히, 이 방법은 기존의 복잡한 증류(Distillation) 기법과 달리 추가적인 '교사(Teacher)' 모델 없이 '학생(Student)' 모델이 스스로 교사 역할을 수행한다는 점에서 '자기(Self)' 증류라고 불립니다.
이번 애플의 연구는 코드 생성 AI 분야에 중요한 시사점을 제공합니다. 외부 데이터 의존도를 줄이고 모델 자체의 잠재력을 최대한 활용하여 성능을 끌어올릴 수 있음을 보여주기 때문입니다. 이는 개발자들이 더 정확하고 효율적인 코드 생성 도구를 사용할 수 있게 될 뿐만 아니라, AI 모델 학습 비용과 시간을 절감하는 데도 기여할 수 있습니다. 궁극적으로는 소프트웨어 개발 생산성을 높이고, 개발자들이 더 창의적인 작업에 집중할 수 있는 환경을 만드는 데 중요한 발판이 될 것으로 기대됩니다.