미국 아르곤 국립 연구소(Argonne National Laboratory) 연구팀이 대규모 언어모델(LLM)의 사전 학습(pre-training) 효율을 크게 향상시키는 새로운 방법론인 CoLA(Co-design for Large-scale pre-training)를 공개했습니다. 이 접근 방식은 하드웨어와 소프트웨어 스택을 통합적으로 최적화하여 LLM 학습에 필요한 시간과 자원을 대폭 절감하는 것을 목표로 합니다. 특히, 최신 슈퍼컴퓨터인 오로라(Aurora) 시스템에서 테스트를 통해 그 효과를 입증했습니다.
CoLA는 단순히 알고리즘 개선을 넘어, 슈퍼컴퓨터의 네트워크, 스토리지, 컴퓨팅 자원을 LLM 학습 워크로드에 맞춰 재설계하는 포괄적인 접근 방식입니다. 연구팀은 이 방법을 통해 1조 개 이상의 매개변수(parameter)를 가진 LLM을 학습하는 데 필요한 시간을 최대 3배까지 단축할 수 있음을 보여주었습니다. 이는 기존 방식 대비 훨씬 적은 에너지와 컴퓨팅 자원으로 동일한 규모의 모델을 학습시킬 수 있다는 의미로, AI 개발의 문턱을 낮추는 데 중요한 역할을 할 수 있습니다. 아르곤 연구소는 에너지부(Department of Energy) 산하 기관으로, 국가적 차원의 고성능 컴퓨팅(HPC) 자원을 활용해 AI 연구를 선도하고 있습니다.
이러한 LLM 사전 학습 효율성 증대는 AI 산업 전반에 걸쳐 파급 효과를 가져올 것입니다. 학습 비용과 시간을 줄임으로써 더 많은 연구자와 기업이 대규모 AI 모델 개발에 참여할 수 있게 되며, 이는 곧 혁신적인 AI 애플리케이션의 등장을 가속화할 수 있습니다. 특히, 에너지 소비 감소는 지속 가능한 AI 개발이라는 측면에서도 중요한 진전으로 평가됩니다. CoLA와 같은 최적화 기술은 미래 AI 모델의 규모와 복잡성이 더욱 커질 것을 고려할 때, 필수적인 요소로 자리매김할 것으로 보입니다.