인공지능(AI) 신경망, 특히 대규모 언어모델(LLM)이 언어, 논리, 코딩 등 복잡한 영역에서 뛰어난 성능을 보이는 이유에 대한 새로운 해석이 제시되었습니다. 기존에는 지능이 논리 공식과 같은 '상징'을 조합해 작동한다고 보았으나, 신경망은 연속적인 '벡터'로 정보를 표현해왔습니다. 이 간극을 메우기 위해 최근 연구는 신경망의 내부 표현이 겉보기와 달리 암묵적으로 '상징 구조'를 구현하고 있다는 가설을 내놓았습니다.
R. 토마스 맥코이(R. Thomas McCoy) 외 연구진은 다양한 신경망의 벡터 표현을 상징 구조로 근사할 수 있음을 입증했습니다. 즉, 신경망의 복잡한 표현 생성 과정을 상징 구조를 인스턴스화하는 폐쇄형 방정식으로 대체해도 네트워크의 동작이 크게 변하지 않았습니다. 이러한 발견은 리스트 조작을 학습한 소규모 신경망뿐만 아니라, 산술, 논리, 컴퓨터 코드, 언어 등 상징적 전통의 핵심 영역에서 작동하는 LLM에도 동일하게 적용되었습니다. 특히, 연구팀은 이러한 상징적 근사를 통해 LLM의 내부 표현에 정밀한 개입을 가하여 모델의 행동을 특정 방식으로 수정할 수 있음을 보여주었습니다. 이는 LLM의 행동이 연구팀이 식별한 상징 구조에 의존하고 있음을 시사합니다.
이 연구는 오랫동안 대립해 온 지능에 대한 '상징주의적' 관점과 현대 AI의 '벡터 기반' 접근 방식을 조화시킬 수 있는 잠재적인 길을 제시합니다. 신경망이 단순히 통계적 패턴을 학습하는 것을 넘어, 인간의 인지 방식과 유사한 추상적인 상징적 규칙을 내재화하고 있음을 시사함으로써 AI의 작동 원리에 대한 이해를 심화시킵니다. 이는 향후 AI 모델의 해석 가능성(interpretability)을 높이고, 예측 불가능한 AI의 행동을 보다 체계적으로 제어하며, 궁극적으로 더욱 신뢰할 수 있는 AI 시스템을 구축하는 데 중요한 기반이 될 것입니다.