인공지능(AI) 기술의 급속한 발전이 소프트웨어 개발 등 다양한 산업의 지형을 바꾸고 있지만, 일각에서는 'AI 정신증'이라는 투자자들의 절망론이 확산되고 있습니다. AI 모델이 모든 것을 더 잘하게 되면, 그 위에 구축된 수많은 스타트업과 기업들은 결국 거대 AI 모델에 흡수될 '얇은 래퍼(thin wrapper)'에 불과하다는 논리가 핵심입니다. 이는 측정 가능한 모든 작업이 AI 훈련의 대상이 되어 결국 '상품(commodity)'으로 전락할 것이라는 우려에서 비롯됩니다.
실제로 첫 AI 소프트웨어 엔지니어(SWE)로 불린 데빈(Devin)은 2024년 출시 당시 표준 벤치마크 과제의 13%만 해결했지만, 1년 반 만에 최고 에이전트는 80%대 후반에 도달하며 측정 가능한 영역에서의 AI의 빠른 잠식을 보여주었습니다. 그러나 MIT 연구진의 분석에 따르면, 최신 코딩 에이전트가 작성한 코드량은 180% 증가했지만 실제 배포된 양은 30% 증가에 그쳤습니다. 이는 코드 작성은 저렴해졌으나, 복잡한 시스템의 정확성 검증이나 10년 묵은 코드베이스에 대한 변경의 적합성 판단처럼 '사적이고 검증 비용이 큰 정답'은 여전히 사람의 개입이 필요하며, 리더보드(leaderboard)로 읽어낼 수 없는 영역이라는 점을 시사합니다.
결국 진정한 가치는 라이선스(license), 책임(liability), 책임 소재처럼 AI 모델이 직접 닿을 수 없는 영역에 존재합니다. 지능이 저렴해질수록 가치는 모델이 도달할 수 없는 소수의 자리, 즉 '훈련 불가능한 영역(untrainable)'으로 이동하며 이것이 기업의 최종적인 '해자(moat)'가 됩니다. 병목은 지능 자체가 아니라, 시스템에 접근할 수 있는 '권한(permission)'과 결과에 대한 '책임(accountability)'에 있다는 것입니다. 예를 들어, 은행의 프로덕션 시스템이나 대형 로펌의 기밀 M&A 딜 처리 과정은 단순히 더 똑똑한 AI 모델만으로는 뚫을 수 없는 높은 진입 장벽을 가지고 있습니다.
이러한 '훈련 불가능한 영역'은 크게 두 가지 축으로 나눌 수 있습니다. 첫째, 정확성이 사적이고 확립 비용이 큰 작업입니다. 둘째, 외부에서 접근하기 어려운 시스템 안에 갇혀 있는 작업입니다. 이 두 가지를 모두 만족하는 영역이 바로 AI-네이티브 선도 기업들이 범용 오픈 모델이 아닌 '커스텀 모델(custom model)'로 압도적 다수의 토큰을 생성하는 이유입니다. 이들은 고객의 사적인 현실에 맞춰 모델을 정렬하고, 행동할 도구를 쥐여주며, 고객과 함께 인력 현실을 변화시키는 '화려하지 않은' 작업을 통해 진정한 가치를 창출합니다.
궁극적으로 AI 시대에 기업이 살아남고 성장하기 위해서는 단순히 더 나은 모델을 만드는 것을 넘어, 누가 '무엇이 좋은 답인지 정의할 권리'를 가지는가가 중요해집니다. 이 권리는 특정 분야의 주체가 됨으로써 얻어지며, 실제 도입의 고투를 통해 획득됩니다. 외부에서 채점할 수 없는 사적이고 기업별로 다른 '좋은 작업'에 대한 판단(judgment)이 쌓여 표준이 되고, 이는 아무리 똑똑한 파운데이션 랩(foundation lab)도 쉽게 침범할 수 없는 독점적인 지위가 됩니다. 따라서 AI 시대의 경쟁 우위는 기술 지능을 넘어선 '권한'과 '책임', 그리고 '신뢰'를 기반으로 한 '훈련 불가능한 영역'을 구축하는 데 달려 있습니다.