머신러닝 모델, 특히 대규모 언어모델(LLM)과 같은 복잡한 AI 시스템의 내부 작동 방식을 이해하는 것은 딥러닝 연구의 핵심 과제이자, AI의 신뢰성 있는 배포를 위해 필수적입니다. 최근 발표된 연구 '캡슐 렌즈(Capsule Lens)'는 모델이 특정 개념을 어떻게 인코딩하고 표현 공간에서 어떻게 변화하는지 추적할 수 있는 새로운 프레임워크를 제시했습니다.
기존의 모델 해석(interpretability) 방식은 주로 내부 표현을 더 해석하기 쉬운 공간으로 매핑하는 데 집중했지만, '캡슐 렌즈'는 개념이 표현 공간을 차지하는 방식을 직접적으로 특성화합니다. 이 프레임워크는 개념이 차지하는 영역을 '캡슐'이라는 단순하고 추적 가능한 기하학적 형태로 매칭합니다. 이 캡슐은 몇 가지 해석 가능한 매개변수로 정의되며, 각 개념의 기하학적 형태에 맞춰 폐쇄형으로 피팅되고 검증됩니다. 연구팀은 이 '캡슐 렌즈'를 정적(static) 및 동적(dynamic) 표현이라는 두 가지 주요 설정에 적용하여, 다양한 모델에서 개념 기하학을 찾아내고, CLIP 사전 학습(pretraining), 시각 질의응답(visual question answering) 및 수학적 추론(mathematical reasoning)에 대한 강화 학습(RL) 후 훈련에서 발생하는 표현 드리프트(drift)를 추적하는 사례 연구를 수행했습니다.
이러한 분석은 CLIP 사전 학습에서 광범위한 네트워크 전반의 재구조화부터 RL 후 훈련에서 국소적이고 개념별 변화에 이르기까지 질적으로 다른 기하학적 역학을 밝혀냈습니다. '캡슐 렌즈'는 기존 연구 결과와 일치하는 발견뿐만 아니라 새로운 관찰 결과도 포함하고 있어, 정적 및 동적 표현 모두에서 개념 기하학을 찾아내고 분석하며 추적하는 데 유망한 도구로 평가됩니다. 이는 AI 모델의 '블랙박스' 문제를 해결하고, 모델이 왜 특정 결정을 내리는지, 그리고 훈련 과정에서 개념 표현이 어떻게 진화하는지 더 깊이 이해하는 데 중요한 진전을 가져올 것으로 기대됩니다.