한 개발자가 1.25억 개 매개변수(125M-parameter) 규모의 트랜스포머(transformer) 모델을 훈련시켜 아이폰에서 실시간으로 피아노 연주를 자동 완성하는 기술을 선보였습니다. 이는 마치 프로그래머를 위한 기타허브 코파일럿(GitHub Copilot)처럼, 사용자가 MIDI 피아노로 몇 음을 연주하면 인공지능(AI)이 그 뒤를 이어 곡을 생성해주는 방식입니다. 특히 이 모델은 아이폰 15에서 초당 약 108개의 음표를 처리하며, 모든 연산이 기기 내(on-device)에서 이루어진다는 점에서 주목받고 있습니다.
이 프로젝트는 'RollTab'이라는 무료 앱으로 제공되며, 개발자는 약 1년간의 연구 끝에 만족할 만한 수준에 도달했다고 밝혔습니다. 가장 큰 기술적 진보는 MIDI 데이터를 효율적으로 표현하는 방식, 훈련 데이터의 정교한 정제, 그리고 훈련 후 DPO(Direct Preference Optimization) 적용에서 나왔습니다. 기존의 MIDI 이벤트(음표 켜짐/꺼짐, 시간 이동 등)를 개별 토큰으로 처리하는 방식은 어휘(vocabulary)가 너무 커지고 모델이 음표 꺼짐을 잊는 등의 문제가 있었지만, 개발자는 'NOTE(pitch, delta_onset, duration, velocity)'와 같이 음표의 모든 속성을 하나의 토큰으로 묶어 처리하는 방식을 고안하여 이를 해결했습니다. 이 방식은 한 번의 트랜스포머 연산으로 하나의 완전한 음표를 생성하게 하여, 실시간 온디바이스 처리에 필수적인 속도와 안정성을 확보했습니다.
이러한 온디바이스 AI 기반의 피아노 자동 완성 기술은 음악 창작 및 교육 분야에 새로운 가능성을 제시합니다. 전문 음악가에게는 영감을 주는 도구로, 초보자에게는 연주 학습을 돕는 보조 도구로 활용될 수 있습니다. 특히 클라우드 연결 없이 기기 자체에서 모든 연산이 이루어지므로, 지연 시간(latency)이 거의 없고 개인 정보 보호 측면에서도 유리합니다. 이는 AI 모델의 경량화와 효율적인 온디바이스 배포 기술이 발전하면서, 스마트폰과 같은 개인 기기에서도 고성능 AI 기능을 활용할 수 있음을 보여주는 좋은 사례입니다.