인공지능(AI) 모델, 특히 대규모 언어모델(LLM)은 뛰어난 성능을 보이지만, 내부 작동 방식이 복잡하여 '블랙박스'처럼 여겨져 왔습니다. 이러한 블랙박스를 열어 모델이 왜 특정 결정을 내리는지 이해하려는 노력을 '메커니즘 해석(mechanistic interpretability)'이라고 합니다. 최근 발표된 연구는 이 분야에서 중요한 진전을 이루었는데, 기존의 '매개변수 분해(Parameter Decomposition, PD)' 방식이 대규모 모델에 적용하기에는 막대한 계산 자원이 필요하다는 한계를 극복하기 위해 '표적 매개변수 분해(Targeted Parameter Decomposition, tPD)'라는 새로운 접근법을 제시했습니다.
기존의 매개변수 분해(PD)는 신경망 전체를 해석 가능한 계산 구성 요소로 분해하여 모델의 모든 작동을 충실하게 반영하려 했습니다. 그러나 이 방식은 모델의 크기가 커질수록 엄청난 계산 비용과 시간을 요구하여 실용성이 떨어졌습니다. 이에 반해 표적 매개변수 분해(tPD)는 '관심 있는 특정 입력'에 대해서만 작동하는 구성 요소를 식별하는 데 초점을 맞춥니다. 이는 '높은 랭크의 포괄적 구성 요소(high-rank catch-all component)'를 도입하여, 목표로 하지 않는 모든 데이터는 이 구성 요소가 처리하도록 함으로써 불필요한 분석을 줄이는 방식입니다. 연구진은 이 tPD를 통해 4블록 트랜스포머(transformer) 모델에서 특정 하위 모델을 추출하는 데 기존 분해 방식의 7%에 불과한 계산량(FLOPs)만을 사용했으며, 12블록 트랜스포머에서는 특정 기억된 시퀀스를 외과적으로 제거하고 재배선하는 데 성공하면서도 다른 입력에는 미미한 부작용만 발생했음을 입증했습니다.
이러한 표적 매개변수 분해(tPD) 기술은 대규모 AI 모델의 투명성과 제어 가능성을 크게 향상시킬 잠재력을 가집니다. 특정 기능이나 행동에 대한 이해를 효율적으로 얻을 수 있게 됨으로써, 개발자들은 모델의 오류를 진단하고, 편향을 줄이며, 원치 않는 동작을 제거하는 데 더욱 효과적인 방법을 찾을 수 있습니다. 이는 AI 시스템의 신뢰성을 높이고, 안전한 AI 개발을 위한 중요한 기반 기술이 될 것입니다. 궁극적으로는 AI 모델의 특정 부분을 '수술하듯이' 정밀하게 수정하고 개선할 수 있는 새로운 가능성을 열어줄 것으로 기대됩니다.