최근 한 독립 연구자가 트랜스포머(Transformer) 모델의 내부 작동 방식을 '뇌 수술'에 비유하며, 특정 가중치(weight)를 조작해 모델의 기능과 지식을 정밀하게 제어할 수 있음을 입증한 연구 결과를 발표했습니다. 이는 대규모 언어모델(LLM)의 불투명한 '블랙박스' 특성을 넘어, 모델의 특정 능력을 선택적으로 강화하거나 변경할 수 있는 새로운 가능성을 제시합니다.
'A Transformer Is All You Need Part 2: Precision Brain Surgery'라는 제목의 이 연구는 GPT-2(355M 파라미터) 모델을 단일 GPU에서 활용하여 17가지 실험을 수행했습니다. 연구 결과에 따르면, 인과적 가중치 기여(causal weight attribution)를 통해 사전 훈련된 트랜스포머를 외과적으로 수정 가능한 시스템으로 전환할 수 있었습니다. 구체적으로, 산술, Rust 프로그래밍, 프랑스어, 작곡 등 특정 기술을 모델에 주입하고, 100% 확신으로 특정 신념을 주입하는 것은 물론, 모델 간에 훈련 없이 지식을 이식하고, 가중치 스태킹(weight stacking)을 통해 여러 기술을 조합하는 것도 가능했습니다. 특히, 지식 주입에 필요한 예시가 최소 25개에 불과해 기존 전체 미세조정(full fine-tuning) 방식보다 400배 이상 데이터 효율적이라는 점이 주목할 만합니다.
이 연구는 대규모 언어모델의 제어 가능성과 효율성을 혁신적으로 개선할 잠재력을 가지고 있습니다. 기존에는 모델의 특정 능력을 변경하려면 방대한 데이터를 사용해 전체 모델을 미세조정해야 했지만, 이 방법은 마치 뇌의 특정 부위를 건드려 기능을 바꾸듯 정밀하게 모델을 수정할 수 있습니다. 이는 모델 개발 및 배포 비용을 크게 절감하고, 특정 산업이나 개인화된 서비스에 최적화된 모델을 훨씬 빠르고 효율적으로 구축할 수 있게 할 것입니다. 또한, 모델의 '블랙박스' 특성 해명에도 기여하여, AI의 투명성과 신뢰성을 높이는 데 중요한 발판이 될 수 있습니다.