온디바이스(On-device) AI 기술의 발전으로 아이폰(iPhone)에서 실시간으로 피아노 연주를 자동 완성하는 1억 2,500만 개 매개변수 모델 'RollTab'이 공개되었습니다. 이 모델은 MIDI 건반으로 몇 음을 연주하면 AI가 곡을 이어가는 방식으로, 마치 피아노 연주자를 위한 'GitHub Copilot'과 같은 역할을 합니다. 14차례의 실험 끝에 개발된 이 앱은 아이폰 15에서 초당 약 108개의 음표를 생성하는 놀라운 성능을 보여줍니다.
RollTab은 음높이(pitch), 시작 간격(delta_onset), 길이(duration), 세기(velocity)를 하나의 복합 토큰(token)으로 묶어 처리하는 독창적인 방식을 사용합니다. 이는 기존의 음표 시작(note-on)/음표 끝(note-off) 이벤트를 개별 토큰으로 처리할 때 발생하던 복잡성과 지연을 크게 줄여줍니다. 또한, 트랜스포머(Transformer) 모델을 음표당 한 번만 실행하도록 최적화하여 온디바이스 환경에서의 빠른 추론(inference) 속도를 달성했습니다. 수십만 개의 MIDI 파일과 약 3억 개의 음표 이벤트를 학습 데이터로 활용했으며, 데이터 양을 늘리는 것보다 피아노 중심의 선별, 중복 제거, 오염된 다중 트랙 제거 등 데이터 정제 과정이 모델 품질에 훨씬 중요했음이 밝혀졌습니다.
특히, 구글 제미니 3.5 플래시(Gemini 3.5 Flash)를 활용한 쌍대 비교(pairwise comparison) 평가를 통해 선호 데이터를 구축하고, 이를 직접 선호 최적화(DPO: Direct Preference Optimization) 학습에 적용하여 모델의 음악적 완성도를 크게 높였습니다. DPO를 통해 학습한 모델은 사전학습된 기본 모델보다 69.05% 더 높은 선호도를 얻으며, 사용자가 선호하는 음악적 흐름을 더 잘 생성할 수 있게 되었습니다. PyTorch 모델을 애플의 Core ML로 변환하고 INT8 양자화(quantization)를 적용하여 아이폰과 아이패드(iPad)에서 전체 과정을 실행할 수 있도록 구현되었습니다.
이 기술은 모바일 기기에서 음악 창작의 접근성을 획기적으로 높일 잠재력을 가집니다. 전문 음악가뿐만 아니라 음악을 배우는 학생, 취미로 피아노를 연주하는 일반인들도 AI의 도움을 받아 더 풍부하고 다채로운 연주를 경험할 수 있게 될 것입니다. 아직 짧은 프롬프트(prompt)나 반복적인 생성에서 한계가 있고, 첫 실행 시 최적화 지연이 발생하는 등의 개선점이 남아있지만, 온디바이스 AI 기반의 음악 창작 도구 시장의 가능성을 보여주는 중요한 진전입니다. 앞으로 이러한 기술이 더욱 발전하여 누구나 쉽게 고품질의 음악을 만들 수 있는 시대가 올 것으로 기대됩니다.