앤트로픽(Anthropic)의 AI 코딩 도우미 클로드 코드(Claude Code)가 제공하는 '다음 메시지 제안' 기능이 단순한 사용자 편의를 넘어, AI 모델 학습을 위한 전략적인 피드백 수집 도구일 수 있다는 분석이 제기되었습니다. 이 기능은 사용자가 코딩 작업을 마친 후 '테스트를 실행해', '이 내용을 커밋해'와 같은 다음 단계 메시지를 자동으로 제안합니다. 사용자가 이 제안을 그대로 수락하거나 수정하는 과정에서 발생하는 상호작용이 모델 개선에 필요한 귀중한 데이터를 제공한다는 주장입니다.
기존의 AI 피드백 방식인 '좋아요/싫어요' 버튼은 참여율이 낮고 불만을 가진 사용자에게 편중되기 쉬워 유용한 데이터를 얻기 어렵다는 한계가 있습니다. 또한, 유료 평가자를 고용하는 것은 비용이 많이 들고, 외부 평가자가 프로젝트의 맥락을 정확히 이해하기 어렵다는 문제도 있습니다. 반면, 클로드 코드의 메시지 제안 기능은 사용자가 실제 작업 흐름 속에서 제안을 수정하는 행위 자체가 개발자의 의도와 선호를 명확하게 보여주는 피드백이 됩니다. 예를 들어, '테스트를 실행해'라는 제안을 '전체 테스트는 10분 걸리니 인증 테스트만 실행해'로 수정한다면, 이는 모델의 예측이 빗나간 지점과 더 나은 선택이 무엇인지 구체적으로 알려주는 데이터가 됩니다. 이러한 비교 데이터는 인간 피드백 기반 강화학습(RLHF)의 재료로 활용되어 모델의 행동을 개선하는 데 기여할 수 있습니다.
이러한 방식은 수천 명의 개발자로부터 실제 작업 환경에서 자연스럽게 선호 데이터를 수집할 수 있는 매우 효율적인 방법이 될 수 있습니다. 모델이 사용자의 다음 요청을 예측하는 능력을 학습하는 것은 단순히 다음 문장을 완성하는 것을 넘어, 리팩터링 후 테스트 실행, 테스트 통과 후 커밋과 같은 개발 작업의 순서를 이해하는 능력으로 확장될 수 있습니다. 이는 궁극적으로 사용자의 명시적인 지시 없이도 다음 행동을 수행하는 에이전트(agent) 개발로 이어질 수 있습니다. 다만, 앤트로픽 측은 이 기능이 선호 신호 수집에 사용되지 않으며, 작업 흐름 유지와 세션 복귀를 돕고 기능 유용성 평가에만 활용된다고 밝혔습니다. 그럼에도 불구하고, 개발자의 일상적인 상호작용에서 얻는 피드백의 잠재적 가치는 AI 모델 학습 방식에 대한 새로운 시사점을 제공합니다.