AI 추론(inference) 시스템을 개발하는 스타트업 에치드(Etched)가 단 한 달 만에 기업가치가 103억 달러에서 210억 달러로 두 배 이상 급증하며 7억 달러의 신규 투자를 유치했습니다. 이는 유명 퀀트 펀드인 제인 스트리트(Jane Street)가 에치드의 AI 하드웨어를 직접 테스트하고 구매한 후 투자를 주도하면서 이루어졌습니다. AI 업계에서도 이례적으로 빠른 기업가치 상승은 에치드의 기술력이 시장에서 큰 주목을 받고 있음을 시사합니다.
에치드는 사용자의 프롬프트(prompt) 입력 후 실제 답변을 생성하는 추론(inference) 과정을 가속화하기 위해 두 가지 핵심 구성 요소를 처음부터 새로 설계했습니다. 첫째, 수학적 연산이 집중되는 '프리필(prefill)' 단계에서 프롬프트와 맥락을 이해하는 데 사용되는 저전압 칩을 개발했습니다. 이 칩은 발열 문제 없이 더 많은 트랜지스터를 집적하여 더 많은 토큰(token)을 빠르게 처리할 수 있습니다. 둘째, 메모리 집약적인 '디코드(decode)' 단계에서 결과 토큰을 생성하기 위해 '클러스터 스케일 메모리(cluster-scale memory)'라는 새로운 유형의 메모리와 인터커넥트(interconnect)를 만들었습니다. 이는 여러 칩이 초고속, 저지연으로 공유 메모리 풀을 사용할 수 있게 하여 전체 시스템의 성능을 극대화합니다.
이러한 에치드의 독자적인 기술은 기존 엔비디아(Nvidia)의 'AI 팩토리(AI factory)'와 같은 시스템과 경쟁하며, 더 높은 속도와 낮은 비용으로 AI 추론을 가능하게 합니다. 초기에는 특정 모델에 최적화된 칩을 만든다는 오해가 있었지만, 에치드의 시스템은 이제 모든 최신 대규모 언어모델(LLM)을 실행할 수 있습니다. 제인 스트리트가