인공지능(AI)의 내부 작동 방식을 이해하는 것은 AI 모델의 신뢰성을 높이고 편향을 줄이는 데 매우 중요합니다. 이를 위해 '회로 추적(circuit tracing)'이라는 기술이 활용되는데, 이 과정에서 개별 특성이나 MLP 뉴런들을 '슈퍼노드(supernode)'로 그룹화하는 작업은 지금까지 많은 시간과 노력이 필요한 수동 과정이었습니다. 하지만 최근 연구에 따르면 대규모 언어모델(LLM)이 이 복잡한 주석(annotation) 작업을 자동화할 수 있음이 확인되었습니다.
연구진은 LLM에 특성(feature) 설명을 직접 제공하여 슈퍼노드를 자동으로 그룹화하는 간단한 파이프라인을 제시했습니다. 자동화된 해석 가능성(interpretability) 측정 지표를 사용한 결과, LLM이 생성한 슈퍼노드가 인간 주석자가 생성한 것만큼 해석력이 뛰어남을 확인했습니다. 특히, '두 단계 수도(Capitals) 찾기' 작업에서는 100개 프롬프트 중 97개에서 중간 단계를 나타내는 슈퍼노드를 정확히 찾아냈습니다. 또한, 위키백과 프롬프트 완성에서 1,000개의 어트리뷰션 그래프를 자동으로 주석 처리하고, LLM 심사관을 활용해 인간 검토가 필요한 흥미로운 그래프를 선별하는 개념 증명(proof of concept)도 성공적으로 수행했습니다.
이러한 LLM 기반의 자동화 파이프라인은 AI 모델의 복잡한 내부 메커니즘을 이해하고 설명하는 데 드는 시간과 비용을 획기적으로 줄일 수 있습니다. 이는 AI 연구자들이 모델의 동작을 더 빠르고 효율적으로 탐색할 수 있게 하여, 궁극적으로 더욱 투명하고 신뢰할 수 있는 AI 시스템 개발에 기여할 것입니다. 단순한 자동화만으로도 의미 있는 어트리뷰션 그래프 주석이 가능함을 보여줌으로써, 자동화된 회로 추적 연구에 대한 추가적인 동기를 부여할 것으로 기대됩니다.