AI 모델, 특히 대규모 언어모델(LLM)의 복잡성이 증가하면서, 이들이 왜 특정 결정을 내리는지, 내부적으로 어떻게 작동하는지 이해하기가 점점 어려워지고 있습니다. 이러한 '블랙박스' 문제를 해결하기 위해 '기계론적 단층 촬영술(Mechanistic Tomography)'이라는 새로운 측정 및 분석 프레임워크가 제안되었습니다. 이 접근법은 모델이 직접 노출하지 않는 내부 상태, 구성 요소의 영향, 상호작용, 그리고 특정 개입에 대한 반응 등을 체계적으로 측정하여 모델의 작동 메커니즘을 밝히는 것을 목표로 합니다.
기계론적 단층 촬영술은 패치(patching), 기울기(gradients), 헤시안-벡터 곱(Hessian-vector products), 부분집합 개입(subset interventions) 등 다양한 측정 기법들을 아우르는 공통된 측정 구조를 제공합니다. 이는 마치 의료 분야의 단층 촬영술이 인체 내부를 여러 각도에서 촬영하여 종합적인 이미지를 얻는 것과 유사합니다. 연구진은 이 과정을 y = Ax + w라는 선형 방정식으로 정형화했는데, 여기서 A는 개입(interventions)을, x는 목표 맵(target map)을, w는 비선형 반응 및 오차를 나타냅니다. 이 프레임워크는 비용이 적게 드는 측정부터 시작하여, 실제 규모의 개입에 대한 테스트를 통해 불일치를 보정하고, 잔여 오차가 발생하면 측정 방식을 확장하는 실용적인 절차를 제시합니다. 특히, 제어(control)는 이 방법론의 유효성을 검증하는 중요한 환경이 되는데, 모델에 대한 추정치가 개입을 안내하는 '관찰자' 역할을 하기 때문입니다.
이 연구는 GPT-2-small IOI(Indirect Object Identification) 태스크와 Qwen-2.5-7B 모델에 적용되어 그 유효성을 입증했습니다. 예를 들어, GPT-2-small에서는 'Name Mover-Negative Name Mover' 상호작용이 예측에 가장 큰 영향을 미치는 요인 중 하나임을 밝혀냈습니다. 또한, Qwen-2.5-7B에서는 유한 보정(finite calibration)을 통해 간단한 가산적 거부-응답 맵(additive refusal-response map)만으로도 충분한 설명력을 얻을 수 있음을 보여주었습니다. 이는 모델의 내부 메커니즘을 더 깊이 이해함으로써, 모델의 예측을 개선하고, 잠재적인 편향을 식별하며, 궁극적으로는 AI 시스템을 더욱 신뢰할 수 있고 제어 가능한 형태로 발전시키는 데 중요한 기여를 할 것으로 기대됩니다.