최근 대규모 언어모델(LLM)이 코드 생성 분야에서 놀라운 발전을 보이고 있으며, 특히 실행 가능한 피드백을 통해 학습 신뢰도를 높이는 방식이 주목받고 있습니다. 이러한 LLM의 역량은 현대 칩 설계 비용의 상당 부분을 차지하는 하드웨어 검증(hardware verification) 분야, 그중에서도 높은 커버리지(coverage)를 가진 테스트벤치 자극(testbench stimulus) 코드 생성에 중요한 응용 가능성을 제시합니다.
새롭게 발표된 CHORUS 프레임워크는 기존의 지도 학습 기반 미세조정(SFT: Supervised Fine-Tuning)과 강화 학습(RL: Reinforcement Learning) 파이프라인의 성능을 뛰어넘는 접근 방식을 제안합니다. CHORUS는 두 가지 핵심 관찰을 기반으로 합니다. 첫째, 단계별 SFT를 통해 행동적으로 다양한 체크포인트(checkpoint)를 생성하고, 이를 밀도 높은 보상(dense-reward) 강화 학습으로 훈련하여 개별적으로는 유사하지만 작업 수준에서는 뚜렷한 강점을 가진 전문가 모델(expert model)들을 만듭니다. 둘째, 이러한 상호 보완적인 강점들을 훈련 없이 모델을 병합하거나 추가적인 후처리 훈련을 통해 활용함으로써, 개별 전문가 모델의 최고 성능을 능가할 수 있음을 보여줍니다.
CHORUS는 이러한 전문가 모델들을 단일 40억 개 매개변수(4B) 모델로 통합하여 CVDP-ECov 벤치마크에서 88.0%의 Pass@1(첫 번째 시도에서 통과할 확률)을 달성했습니다. 이는 6,710억 개 매개변수(671B)의 DeepSeek-R1 모델보다 13.5%포인트 높은 수치입니다. 이 결과는 훨씬 작은 모델로도 최신 대규모 모델을 능가하는 성능을 낼 수 있음을 입증하며, 반도체 설계 검증 과정의 효율성을 크게 향상시키고 비용을 절감하는 데 기여할 잠재력을 가지고 있습니다.