최근 발표된 '무한 파라미터 LLM(Infinite-Parameter LLM)' 연구는 대규모 언어모델(LLM)이 실시간 상호작용 데이터를 처리하는 새로운 방식을 제안합니다. 기존 LLM은 사용자 제공 사실이나 수정 사항을 주로 프롬프트(prompt)에 넣어 문맥(context)으로 활용했지만, 이 아키텍처는 이러한 정보를 추론(inference) 과정에서 모델의 가중치(weights)에 직접 반영합니다. 이는 모델이 고정된 지식에 의존하지 않고 사용자와의 상호작용을 통해 지속적으로 진화할 수 있도록 설계된 것이 특징입니다.
이 아키텍처의 핵심은 '작은 하이퍼네트워크(hypernetwork)'와 '베이지안 믿음 분포(Bayesian belief distribution)'입니다. 작은 하이퍼네트워크는 공유 기반 네트워크에 적용될 저랭크(low-rank) 가중치 변화량을 실시간으로 생성합니다. 이는 기존 전문가 혼합(Mixture-of-Experts, MoE) 모델처럼 방대한 전문가 가중치 집합을 모두 저장할 필요 없이, 필요할 때마다 동적으로 가중치를 만들어내는 방식입니다. 또한, 잠재 코드(latent code)를 한 번 읽고 고정하는 대신 베이지안 믿음 분포를 온라인으로 갱신하여, 세션이 진행되는 동안 유효 가중치(effective weights)가 계속 적응하도록 합니다. 여기서 '무한 파라미터'란 고정된 저장 공간에서 연속적인 코드로 생성할 수 있는 유효 가중치 집합을 의미하며, 무한한 지식 저장 능력이나 사전학습(pre-training)의 대체를 뜻하는 것은 아닙니다.
이러한 접근 방식은 여러 중요한 의미를 가집니다. 첫째, 정적 학습 데이터의 고갈 문제에 대한 잠재적 해법을 제시합니다. 인간이 생성한 텍스트 데이터는 2026~2032년 사이에 소진될 것으로 예상되지만, 배포된 모델과 에이전트가 생성하는 상호작용 데이터는 빠르게 증가하고 있습니다. 이 데이터를 가중치에 직접 반영함으로써 모델은 최신 정보와 사용자별 특성을 더 효과적으로 학습할 수 있습니다. 둘째, 기존 MoE 모델의 두 가지 주요 제약, 즉 모든 전문가 가중치를 메모리에 유지해야 하는 '메모리 제약'과 학습 후 전문가 집합이 고정되어 실시간 상호작용에 적응하지 못하는 '고정된 전문가 집합' 문제를 해결합니다. 셋째, 지식과 행동 지침을 프롬프트가 아닌 가중치에 담아 반복적인 문맥 읽기 비용을 줄이고, 문맥 창(context window)을 확보하며, 한 턴이 끝난 뒤에도 정보를 유지할 수 있게 합니다. 이는 모델이 사용자별로 개인화된 지식과 행동을 더 효율적으로 내재화하고 장기적으로 기억할 수 있게 하는 중요한 진전입니다.