최근 발표된 연구에 따르면, 거대한 신경망(neural network)을 해석 가능한 작은 모듈인 '회로(circuit)'로 분해하고, 이 회로들을 조합하여 새로운 기능을 수행하는 '서킷트리(CircuitTree)'라는 실용적인 방법론이 제안되었습니다. 이 기술의 핵심은 개별 회로들이 각각 식별 가능한 하위 작업을 수행하도록 분해한 뒤, 이를 효율적으로 결합하여 더 복잡한 작업을 처리하는 데 있습니다. 기존의 단순한 회로 결합 방식의 한계를 극복하기 위해, 밀도 기반의 탐욕적(greedy, density-scaled) 조합 알고리즘과 새로운 데이터 구조인 서킷트리를 활용했습니다.
연구진은 이 서킷트리 기술을 활용하여 음성 인식 분야에 적용했습니다. 구체적으로, 음성 모델인 HuBERT에서 개별 음소(phoneme)를 분류하도록 가지치기(pruned)된 회로들을 추출한 뒤, 이를 조합하여 음절(syllable)을 분류하는 모델을 구축했습니다. 개별 음소 회로 39개 중 어느 하나도 단독으로는 음절을 분류할 수 없었지만, 서킷트리를 통해 이들을 계층적으로 연결함으로써 개방 음절(open syllables)을 64.8%의 정확도로 전사(transcribe)하는 데 성공했습니다. 이는 회로를 전혀 공유하지 않는 독립적인 모델의 최고 성능인 66.0%에 불과 1.2% 포인트 차이로 근접한 수치이며, 동시에 99.5%의 회로 구성 요소를 공유했다는 점에서 매우 효율적입니다.
이 연구는 AI 모델의 '해석 가능성(interpretability)'과 '재사용성(reusability)'이라는 두 가지 중요한 가치를 동시에 높일 수 있는 잠재력을 보여줍니다. 복잡한 단일 모델을 블랙박스처럼 다루는 대신, 명확한 기능을 가진 작은 회로들로 분해하고 이를 필요에 따라 재조합함으로써, 개발자는 모델의 작동 방식을 더 잘 이해하고 특정 작업에 최적화된 모델을 효율적으로 구축할 수 있습니다. 이는 향후 AI 모델 개발 및 배포 과정에서 시간과 자원을 절약하고, 더욱 투명하고 신뢰할 수 있는 AI 시스템을 만드는 데 기여할 것으로 기대됩니다.