AMD가 AI 칩 스타트업 탈라스(Taalas)를 인수하며 인공지능(AI) 하드웨어 시장에서 엔비디아(Nvidia)의 지배력에 도전장을 내밀었습니다. 탈라스는 AI 모델의 가중치(weights)를 실리콘(silicon)에 직접 새겨 넣어 추론(inference) 성능을 획기적으로 높이는 독자적인 기술을 보유하고 있습니다. 이는 코드 어시스턴트와 같은 AI 에이전트 서비스의 실행 속도를 대폭 향상시키고 비용을 절감하는 데 기여할 것으로 보입니다.
2023년 설립된 토론토 기반의 탈라스는 기존 GPU나 데이터플로우(dataflow) 아키텍처와는 전혀 다른 접근 방식을 사용합니다. 이들의 칩은 고대역폭 메모리(HBM) 대신 모델 가중치를 실리콘에 직접 각인하는 모델별 집적회로(MSIC: Model-Specific Integrated Circuit) 방식을 채택합니다. 2024년 중반에 출시된 메타(Meta)의 라마 3.1 8B(Llama 3.1 8B) 모델을 테스트한 결과, 탈라스의 HC1 칩은 초당 16,960 토큰(tokens)을 처리하며 엔비디아 GPU보다 48배, 세레브라스(Cerebras) 가속기보다 8.5배 빠른 성능을 보여주었습니다. 탈라스는 모델 가중치를 새기는 마스크-롬 리콜 패브릭(mask-ROM recall fabric)과 KV 캐시(KV caches) 및 미세조정(fine-tuning) 어댑터를 저장하는 SRAM 리콜 패브릭(SRAM recall fabric)으로 프로세서를 구성하며, 올해 여름 출시될 2세대 HC2 칩은 200억 개 파라미터(parameters)를 지원할 예정입니다.
이 기술은 매우 빠르다는 장점이 있지만, 한 번 배포된 칩은 특정 모델에 고정된다는 단점도 있습니다. 로라(LoRA) 어댑터와 같은 작은 변경을 제외하고는 모델을 변경하려면 칩을 다시 제작해야 하는데, 이는 비용과 시간이 많이 소요됩니다. 하지만 탈라스는 전체 칩을 새로 만드는 것이 아니라 두 개의 금속 레이어(layers of metal)만 변경하면 되므로 비용과 시간을 크게 절감할 수 있다고 설명합니다. AMD는 탈라스의 기술을 자사의 인스팅트(Instinct) 기반 헬리오스 랙(Helios racks)과 결합하여, 프롬프트(prompt) 처리와 같은 연산 집약적인 작업은 GPU에서, 토큰 생성은 탈라스 기반 가속기로 오프로드(offload)하는 분산 아키텍처를 구축할 것으로 예상됩니다.
이번 인수는 AMD가 AI 모델 개발사, 인프라 제공업체, 그리고 일부 추론 서비스 제공업체를 주요 고객으로 삼아 엔비디아의 아성을 흔들겠다는 전략으로 풀이됩니다. 모델 가중치를 실리콘에 새기는 방식은 최첨단 모델 학습 비용의 100분의 1 수준으로 저렴하다고 알려져 있습니다. 오픈AI(OpenAI), 앤트로픽(Anthropic), 메타(Meta) 등 주요 AI 모델 개발사들이 이미 AMD 인스팅트의 주요 고객인 만큼, 이들의 GPT나 클로드(Claude) 같은 모델이 탈라스 기술과 인스팅트 가속기의 조합으로 배포될 가능성도 있습니다. 또한, 모델이 응답하기 전 '생각하는' 시간을 늘려 환각(hallucinations)을 줄이는 '테스트 시간 스케일링(test-time scaling)'과 같은 기술의 비용 효율성을 높여 AI 모델 개발에도 긍정적인 영향을 미칠 수 있습니다.