최근 AI 기술 도입에 대한 기업들의 열기가 뜨거웠지만, 예상치 못한 높은 비용으로 인해 많은 기업이 어려움을 겪고 있습니다. 한 보고서에 따르면, 2028년까지 전체 기업의 약 20%가 AI 시스템 도입을 포기하고 기존의 업무 방식으로 회귀할 것으로 전망됩니다. 이는 AI가 모든 문제를 해결할 것이라는 장밋빛 전망 뒤에 숨겨진 현실적인 비용 문제를 여실히 보여줍니다.
이러한 비용 증가는 주로 AI 모델 훈련(training)과 추론(inference)에 필요한 막대한 컴퓨팅 자원 때문입니다. 특히 대규모 언어모델(LLM)과 같은 최신 AI 기술은 GPU(그래픽 처리 장치)와 같은 고성능 하드웨어에 대한 막대한 초기 투자와 함께, 지속적인 운영 및 유지보수 비용을 요구합니다. 클라우드 기반 AI 서비스 역시 사용량에 비례하는 비용이 발생하여, 기업들이 감당하기 어려운 수준에 이르는 경우가 많습니다. 초기에는 AI 도입으로 인한 생산성 향상과 비용 절감 효과를 기대했지만, 실제로는 그 효과를 상쇄하고도 남을 만큼의 지출이 발생하고 있는 것입니다.
이러한 현상은 AI 기술의 지속 가능한 성장을 위해 비용 효율성을 최우선으로 고려해야 함을 시사합니다. 단순히 최신 AI 기술을 도입하는 것을 넘어, 기업의 실제 비즈니스 가치와 비용을 면밀히 분석하고, 특정 작업에 최적화된 소규모 AI 모델(Small Language Model, SLM)을 활용하거나 온프레미스(on-premise)와 클라우드(cloud) 환경을 혼합하는 하이브리드 전략을 모색하는 것이 중요해지고 있습니다. AI 도입을 고려하는 기업들은 장기적인 관점에서 총 소유 비용(TCO)을 신중하게 평가하고, 투자 대비 효과를 극대화할 수 있는 전략을 수립해야 할 것입니다.