최근 사카나 AI(Sakana AI)가 발표한 '연속적 사고 기계(Continuous Thought Machine, CTM)' 모델의 내부 작동 방식과 잠재적 개선점을 파헤치는 심층 분석 보고서가 공개되어 학계와 업계의 주목을 받고 있습니다. 이 보고서는 CTM의 핵심 아이디어인 내부 시간 축, 뉴런 수준의 시간 처리(NLM), 그리고 표현으로서의 동기화 개념을 상세히 설명하며, 모델이 어떻게 '생각'을 시간적으로 전개하는지 밝힙니다.
보고서는 크게 두 부분으로 나뉩니다. 첫 번째 부분에서는 예측 코딩(predictive coding)과 이중 경로(dual-pathway) 시각 인지 이론을 기반으로 CTM의 성능을 최적화할 수 있는 네 가지 구체적인 방향을 제시합니다. 여기에는 예측 오류 기반 내부 루프, 복측-배측(ventral-dorsal) 이중 경로 아키텍처, 훈련 안정성 개선, 그리고 확실성 기반 조기 종료(early stopping)가 포함됩니다. 두 번째 부분에서는 이론적 제안을 CTM의 실제 소스 코드(models/ctm.py 및 models/modules.py)와 비교하여, 어떤 가정이 코드에 직접 연결되고 어떤 부분이 수정이 필요한지 정밀하게 감사(audit)합니다. 각 개선 방향은 메커니즘 원리, 수학적 형식화, 소스 코드 수정 지점, 설계 근거, 예상되는 이점과 위험, 그리고 실험 프로토콜을 포함한 단계별 로드맵으로 구체화되어 있습니다.
CTM의 핵심은 모델이 입력 데이터와 독립적인 내부 시간 축을 가지고 있어, 데이터가 한 번 입력된 후에는 내부 상태만으로 '사고' 과정을 전개할 수 있다는 점입니다. 각 뉴런은 자체적인 과거 입력 이력을 처리하며 미세한 시간 역학을 구현하고, 뉴런 쌍의 활동 동기화 정도가 출력 및 행동 표현으로 직접 사용됩니다. 이러한 접근 방식은 기존 신경망 모델과는 다른 방식으로 복잡한 시간적 추론과 연속적인 학습을 가능하게 할 잠재력을 가지고 있습니다. 이번 분석은 CTM의 이론적 기반을 강화하고 실제 구현의 완성도를 높이는 데 중요한 기여를 할 것으로 보이며, 향후 인공지능 모델의 설계 방향에 새로운 영감을 줄 수 있습니다.