새로운 대규모 언어모델(LLM) 아키텍처인 '셀룰러플로우(CellularFlow)'가 공개되어 기존 트랜스포머(Transformer) 모델의 고질적인 '치명적 망각(catastrophic forgetting)' 문제를 해결할 대안으로 떠오르고 있습니다. 셀룰러플로우는 밀집 피드포워드 네트워크(FFN/MLP)를 다중 헤드 연상 DNA 메모리 뱅크(Multi-Head Associative DNA Memory Banks)와 에피소드 메모리 슬롯 버퍼(Episodic Memory Slot Buffer)로 대체하여, 사실적 지식 저장과 시퀀스 추론을 분리한 것이 핵심입니다.
셀룰러플로우는 순차적 도메인(sequential domains) 전반에서 83.9%의 지식 유지율을 달성하며 기존 모델(61.8%) 대비 망각 완화에서 뛰어난 성능을 보였습니다. 특히, 추론(inference) 과정에서 백프로파게이션(backpropagation) 없이 실시간 스트리밍 학습(streaming learning)이 가능한 '라이브 학습(Live Learning)' 모드를 지원하며, 에피소드 슬롯 버퍼를 통해 즉각적인 사실 주입(Instant Fact Injection)도 가능합니다. 또한, 기존 트랜스포머의 $O(T^2)$ 시퀀스 어텐션(Sequence Attention) 계산 복잡도를 $O(T)$로 줄여 추론 효율성도 높였습니다.
이러한 셀룰러플로우의 등장은 LLM이 새로운 정보를 지속적으로 학습하고 빠르게 적응해야 하는 다양한 실제 시나리오에서 중요한 의미를 가집니다. 특히, 의료, 법률, 금융과 같이 빠르게 변화하는 전문 분야나 개인화된 서비스에서 모델이 항상 최신 정보를 유지하고 사용자 피드백을 즉시 반영할 수 있게 될 것입니다. 이는 LLM의 활용 범위를 넓히고, 더욱 유연하고 동적인 인공지능(AI) 시스템 구축을 가능하게 할 잠재력을 가지고 있습니다.