인공지능(AI)이 코드를 생성하는 능력은 빠르게 발전하고 있지만, 대부분의 학습 방식은 코드가 '정확하게' 작동하는지에만 초점을 맞춰왔습니다. 하지만 시스템 코드와 같이 성능이 중요한 영역에서는 단순히 오류 없이 작동하는 것을 넘어, 얼마나 효율적이고 빠르게 실행되는지가 핵심적인 가치입니다. 최근 발표된 RLPF(Reinforcement Learning from Performance Feedback) 연구는 이러한 간극을 메우기 위해, AI가 더 빠르고 효율적인 코드를 생성하도록 훈련하는 새로운 강화 학습 방법론을 제시했습니다.
RLPF는 실행 결과를 '단계별 보상(staged reward)'으로 전환하여 AI에 피드백을 제공합니다. 프로그램이 컴파일조차 되지 않거나 실행에 실패할 경우, 실행 진행도에 따라 순위를 매겨 초기 단계부터 유용한 학습 신호를 줍니다. 반면, 정확하게 작동하는 프로그램에 대해서는 기준선(baseline) 대비 성능 개선 정도를 평가하여 더 효율적인 코드에 높은 보상을 부여합니다. 이 복합적인 보상 체계를 통해 AI는 단순히 정답을 맞히는 것을 넘어, 성능 최적화에 대한 민감한 피드백을 받게 됩니다. 연구팀은 Qwen3-32B 모델을 RLPF로 미세조정(fine-tuning)한 결과, '정확하고 실행 가능한' 솔루션 비율을 11.1%에서 54.6%로 대폭 끌어올렸으며, 상대적 효율성(relative efficiency) 또한 8.1%에서 38.6%로 크게 개선했습니다. 이는 RLPF가 코드 생성 AI의 성능을 혁신적으로 향상시킬 수 있음을 보여줍니다.
이러한 발전은 AI가 생성하는 코드의 실용성을 한 단계 높이는 중요한 의미를 가집니다. 기존에는 AI가 만든 코드를 사람이 직접 성능 최적화해야 하는 경우가 많았지만, RLPF를 통해 AI 스스로 효율적인 코드를 생성할 수 있게 되면 개발자의 수고를 크게 줄일 수 있습니다. 특히 임베디드 시스템, 고성능 컴퓨팅, 게임 엔진 등 실행 속도가 중요한 분야에서 AI 코드의 활용도가 더욱 높아질 것입니다. 앞으로 AI는 단순한 코드 작성 도구를 넘어, 성능까지 고려하는 '최적화된' 솔루션을 제공하는 진정한 공동 작업자로 진화할 것으로 기대됩니다.