사전 학습된 예측 모델(pretrained forecaster)은 다양한 분야에서 활용되지만, 때로는 특정 패턴으로 반복적인 오류를 발생시킵니다. 이러한 오류를 해결하기 위해 모델 전체를 미세조정(fine-tuning)하는 것은 막대한 비용과 시간이 소요되는 비효율적인 방식입니다. 최근 발표된 연구 논문은 '수정 특징 발견(corrective feature discovery)'이라는 새로운 접근 방식을 통해, 모델의 핵심 부분을 고정(frozen)한 채 경량의 사후 보정기(post-hoc corrector)로 예측 오류를 효과적으로 개선하는 방법을 제안했습니다.
이 연구에서 제안하는 'CRAFTER(Corrective Residual Agent with Feature-based Temporal Exploration and Reasoning)'는 블랙박스 예측 모델의 잔차(residual), 즉 실제 값과 예측 값의 차이를 분석하여 오류 패턴을 설명할 수 있는 해석 가능한 특징(interpretable feature)을 찾아냅니다. CRAFTER는 두 가지 보완적인 생성기를 사용하는데, 하나는 원시 입력 채널(raw input channel)에 대한 조합 검색(compositional search)이고, 다른 하나는 대규모 언어 모델(LLM)이 이름 붙여진 특징 조합, 이진 플래그, 실행 가능한 짧은 코드를 제안하는 방식입니다. 이렇게 생성된 후보 특징들은 유효성 검사(validation-grounded gate)를 통해 채택 또는 기각되며, 최종적으로 선택된 특징들은 예측 모델의 오류를 보정하는 데 사용됩니다. 이 방식은 기존의 데이터 생성 과정 모델링과 달리, 모델 실패 과정을 직접 모델링하여 오류 수정의 효율성을 극대화합니다.
CRAFTER는 6개의 공개 데이터셋과 6개의 고정된 백본(frozen backbone) 모델에서 기존의 모든 특징 엔지니어링 시스템을 능가하는 성능을 보였습니다. 특히, 보정기 단독으로 얻는 개선 효과를 거의 두 배로 늘렸으며, 가장 성능이 낮은 백본 모델의 오류를 최대 27%까지 줄이는 데 성공했습니다. 이러한 성능 향상은 다양한 LLM 백엔드에서도 일관되게 나타났고, 미세조정된 백본 모델에 적용했을 때도 지속적인 개선 효과를 보여주었습니다. 이는 예측 모델의 성능을 향상시키는 데 있어 미세조정보다 훨씬 효율적이고 유연한 대안이 될 수 있음을 시사하며, 복잡한 AI 모델의 '설명 가능성(explainability)'과 '신뢰성(reliability)'을 높이는 데 중요한 기여를 할 것으로 기대됩니다.