앤트로픽(Anthropic)의 연구진이 AI 모델이 스스로 정렬(alignment) 문제를 해결하는 자동화된 시스템을 공개하며 인공지능 개발의 새로운 지평을 열었습니다. '자동화된 연구자가 정렬 실패를 안정적으로 완화할 수 있다(Automated Researchers Can Reliably Mitigate Alignment Failures)'는 제목의 논문에서, AI 시스템이 모델의 정렬 벤치마크 성능을 안정적으로 개선할 수 있음을 입증했습니다. 이는 AI가 스스로 학습하고 개선하는 재귀적 자기 개선(recursive self-improvement)의 초기 단계로 평가됩니다.
첸 웨-한(Chen Yueh-Han) 앤트로픽 연구원이 이끈 이 시스템은 10가지 특정 오정렬(misaligned) 행동 벤치마크에서 전반적인 성능 저하 없이 모든 항목의 성능을 향상시키는 데 성공했습니다. 이 자동화된 연구 시스템(Automated Alignment Researcher, AAR)은 기존 연구 방식을 모방하여 문헌을 검색하고, 개선 방법을 제안하며, 제안된 방법으로 모델을 30분간 훈련하는 과정을 반복합니다. 효과적인 방법은 유지하고 비효과적인 방법은 폐기함으로써, 시스템은 빠르고 대규모로 작동할 수 있습니다. 특히, 이 AAR은 평균적으로 6시간 이내에 숙련된 인간 연구자가 제안하는 방법보다 더 나은 결과를 도출했으며, 시간당 약 4달러의 API 추론 비용으로 인간 연구자의 시간당 150달러보다 훨씬 저렴하게 운영될 수 있다고 논문은 밝히고 있습니다.
이번 연구 결과는 AI 모델이 스스로 정렬 훈련을 개선할 수 있다면, 더 나아가 전반적인 훈련 방식을 개선할 수 있음을 시사합니다. 이는 장기적으로 인간 AI 연구자의 역할이 축소되거나 변화할 수 있음을 의미하며, AI 발전의 다음 중요한 단계로 여겨지는 재귀적 자기 개선에 한 걸음 더 다가선 것입니다. 물론, 이 자동화 시스템은 벤치마크가 실제 정렬 목표를 얼마나 잘 반영하는지에 따라 한계가 있으며, 벤치마크 설정 및 유지, 그리고 자동화된 연구자가 참고할 문헌을 확장하는 데 여전히 많은 노력이 필요하다는 점도 함께 지적되었습니다. 그럼에도 불구하고, 이번 연구는 근시일 내에 자동화된 정렬 후 훈련(automated alignment post-training)이 실용화될 수 있다는 초기 증거를 제공하며 AI 안전 및 개발 분야에 큰 영향을 미칠 것으로 예상됩니다.