인공지능(AI)이 새로운 문제를 해결하기 위해 기존의 지식 요소를 재조합하는 능력, 즉 체계적 일반화(systematic generalization)는 인간 지능의 핵심이지만, AI 분야에서는 이를 엄밀하게 연구하고 평가하기 어려웠습니다. 기존 연구들은 단순화된 접근 방식을 사용해왔는데, 이는 AI의 일반화 능력을 과대평가할 수 있다는 지적이 나왔습니다.
최근 청원 치(Chengwen Qi) 외 연구진은 이러한 단순화된 방식이 무엇을 놓치고 있는지 분석하고, 연역(deductive)·귀납(inductive)·가추(abductive) 추론을 모두 통합한 새로운 테스트베드 'TranSGrid'를 개발했습니다. 4,800개의 TranSGrid 인스턴스로 7개의 트랜스포머(Transformer) 모델을 실험한 결과, 가장 큰 모델조차 기존 테스트 세트에서는 79.6%의 높은 해결률을 보였지만, TranSGrid에서는 55.3%, 가장 어려운 하위 세트에서는 15.8%로 성능이 크게 떨어졌습니다. 이는 AI가 단순히 많은 데이터를 학습하는 것만으로는 진정한 일반화 능력을 갖추기 어렵다는 것을 보여줍니다.
연구진은 TranSGrid에 기존 평가 방식의 단순화 요소를 다시 적용했을 때, 모델들의 해결률이 다시 기존 테스트 세트 수준으로 회복되는 것을 확인했습니다. 이는 기존 평가 방식이 귀납적 또는 가추적 추론 요구 사항을 크게 줄여버리기 때문에, AI의 체계적 일반화 능력을 종합적으로 측정하지 못한다는 것을 의미합니다. 이번 연구 결과는 AI가 인간처럼 복잡한 추론을 통해 새로운 상황에 유연하게 대처하는 능력을 개발하기 위해서는, 세 가지 추론 형태를 모두 포함하는 새로운 평가 방식이 필수적임을 강조합니다.