AI 스타트업 씽킹머신즈(Thinking Machines)가 직접 학습시킨 오픈 가중치(open-weights) 멀티모달(multimodal) 대규모 언어모델(LLM) '잉클링(Inkling)'을 발표하며 AI 커뮤니티에 새로운 바람을 불어넣고 있습니다. 잉클링은 텍스트, 이미지, 오디오 등 다양한 형태의 데이터를 이해하고 추론할 수 있는 능력을 갖추고 있으며, 특히 사용자가 모델을 쉽게 맞춤 설정할 수 있도록 설계된 것이 핵심입니다.
잉클링은 총 9,750억 개의 매개변수(parameters)를 가지는 전문가 혼합(Mixture-of-Experts, MoE) 트랜스포머 모델로, 이 중 410억 개의 매개변수가 활성화됩니다. 45조 개의 토큰(tokens)으로 구성된 방대한 멀티모달 데이터셋으로 사전 학습되었으며, 최대 100만 토큰의 긴 컨텍스트(context)를 처리할 수 있습니다. 씽킹머신즈는 잉클링 외에도 120억 개의 활성 매개변수를 가진 경량 모델 '잉클링-스몰(Inkling-Small)'도 함께 공개하여, 비용 효율성과 낮은 지연 시간(latency)을 동시에 잡으려는 사용자들을 위한 선택지를 제공했습니다. 이 모델들은 자체 플랫폼인 팅커(Tinker)에서 미세조정(fine-tuning)을 지원하며, 개발자들은 잉클링 플레이그라운드(Inkling Playground)를 통해 모델과 직접 상호작용하며 성능을 평가할 수 있습니다.
잉클링의 가장 인상적인 시연은 '스스로 미세조정'하는 능력이었습니다. 잉클링은 'e' 알파벳을 사용하지 않는 리포그램(lipogram) 모델이 되도록 미세조정하는 작업을 스스로 계획하고, 필요한 학습 데이터셋과 평가 기준을 생성한 뒤, 팅커 API를 이용해 모델을 재학습시키고 새로운 가중치(weights)를 적용하는 전 과정을 성공적으로 수행했습니다. 이는 단순히 강력한 기반 모델을 제공하는 것을 넘어, AI가 스스로 특정 목적에 맞춰 진화할 수 있는 가능성을 보여주며, 개발자들이 맞춤형 AI를 구축하는 과정을 획기적으로 단순화하고 가속화할 수 있음을 시사합니다. 이러한 접근 방식은 특정 산업이나 사용 사례에 특화된 AI 모델을 빠르고 효율적으로 개발하려는 기업과 개발자들에게 큰 이점을 제공할 것입니다.