최근 대규모 언어모델(LLM)의 발전과 함께, 모델이 왜 특정 방식으로 작동하는지 이해하려는 '기계적 해석 가능성(mechanistic interpretability)' 연구가 중요해지고 있습니다. 이 연구는 복잡한 바이너리 코드를 소스 코드로 역공학(reverse-engineering)하듯이, 신경망이 수행하는 세부 계산 과정을 복원하려는 시도입니다. 특히 트랜스포머 모델의 예측 불가능한 능력이나 유해한 행동의 원인을 파악하고, 미래 모델의 문제를 예측하는 데 기여할 수 있습니다.
이 연구는 어텐션(attention) 메커니즘만 사용하는 0~2층의 단순화된 트랜스포머 모델을 대상으로, 토큰(token) 입력부터 최종 출력 로짓(logit)까지 이어지는 계산 경로를 분해했습니다. 어텐션 헤드는 정보를 어디서 가져올지 결정하는 QK 회로(Query-Key circuit)와 가져온 정보가 출력에 미치는 영향을 결정하는 OV 회로(Output-Value circuit)로 나뉩니다. 어텐션 패턴을 고정하면 나머지 계산은 선형(linear)이 되는데, 이를 통해 모델이 0층에서는 바이그램 통계를, 1층에서는 바이그램과 스킵 트라이그램의 앙상블(ensemble)을 구현함을 확인했습니다. 1층 모델은 문맥 속 토큰을 복사하는 기초적인 문맥 내 학습도 가능하지만, 인수분해된 표현 때문에 잘못된 조합을 생성하는 한계도 보였습니다. 2층 모델에서는 '귀납 헤드(induction head)'가 이전 토큰 헤드와의 합성을 통해 반복되는 패턴을 학습하는 것이 관찰되었습니다. 다만, 이 분석은 작은 실험용 모델에 한정되며, 전체 매개변수의 약 3분의 2를 차지하는 MLP(Multi-Layer Perceptron) 부분은 여전히 미해결 영역으로 남아있습니다.
이러한 기계적 해석 가능성 연구는 AI 모델의 '블랙박스' 문제를 해결하고 투명성을 높이는 데 중요한 의미를 가집니다. 모델의 내부 동작 원리를 이해하면, 현재의 안전 문제를 설명하고 새로운 문제를 발견하며, 아직 개발되지 않은 모델의 잠재적 문제까지 예측하는 데 도움이 될 수 있습니다. 이는 AI 시스템의 신뢰성을 확보하고, 더 안전하고 강력한 AI를 개발하는 데 필수적인 단계입니다. 비록 이 연구가 작은 모델에 국한되었지만, 여기서 발견된 알고리듬과 회로 패턴은 GPT-3(Generative Pre-trained Transformer 3)와 같은 더 복잡한 대규모 언어모델에도 적용될 수 있는 발판을 마련했다는 점에서 그 중요성이 큽니다.