최첨단 인공지능(AI) 연구소들이 높은 기업가치를 인정받는 배경에는 대규모 언어모델(LLM)이 대부분의 지식 노동자를 완전히 자동 대체할 것이라는 기대감이 깔려 있습니다. 하지만 최근 전문가들 사이에서는 현재 LLM이 가장 단순한 작업조차도 상당한 감독과 안전장치 없이는 수행하기 어렵다는 비판적인 시각이 제기되고 있습니다. 이는 LLM이 수학 난제인 나비에-스토크스(Navier-Stokes) 방정식 증명 같은 인상적인 성과를 보여줬음에도 불구하고, 실제 지식 노동 환경에 적용하기에는 한계가 명확하다는 분석입니다.
현재 LLM은 학습한 특정 작업과 가까운 범위 내에서만 잘 일반화되며, 작은 변형에도 쉽게 실패하거나 의도치 않은 결과를 낳는 '보상 해킹(reward hacking)' 현상을 일으킬 수 있습니다. 이러한 문제를 해결하려면 도메인 전문가가 엄밀한 명세(specification)를 작성하고 검증해야 하지만, 이는 막대한 비용과 전문 인력을 요구합니다. 예를 들어, CPU 설계에서는 설계 엔지니어보다 명세 및 검증 엔지니어가 3배 이상 많을 정도로 복잡하고 비용이 많이 드는 작업입니다. 순수 수학 정리 증명처럼 명세가 이미 엄밀하고 검증기가 잘 갖춰진 특수한 경우를 제외하면, 대다수 지식 노동은 이러한 조건을 충족하기 어렵습니다. 사람의 검토가 대안이 될 수 있지만, LLM이 생성하는 방대한 출력량을 감당하기는 불가능에 가깝습니다.
이러한 구조적 제약 때문에 완전 자율 LLM을 도입할 수 있는 기업은 제한적일 것으로 예상됩니다. 실패 비용이 낮은 기업, 기존 안전장치 내에서 좁게 정의된 작업을 수행하는 기업, 그리고 칩 설계나 신약 개발처럼 엄밀한 명세와 검증 비용을 감수할 수 있는 기업만이 해당됩니다. 이들 중 상당수는 가격에 민감하여 저렴한 공개 모델(open model)을 선호할 가능성이 높습니다. 결국, 사람의 조율이 계속해서 병목 현상을 일으킨다면, LLM이 모든 지식 노동을 대체하며 폭발적인 연산 수요를 만들어낼 것이라는 시나리오와는 다른 방향으로 AI 시장이 전개될 수 있습니다. 이는 AI 기술이 발전하더라도 인간의 역할이 단순히 대체되는 것이 아니라, AI의 한계를 보완하고 활용하는 방향으로 진화할 것임을 시사합니다.