대규모 언어모델(LLM)의 발전으로 소프트웨어 개발 및 최적화 비용이 낮아질 것이라는 기대와 달리, 실제 소프트웨어는 여전히 느려지고 있다는 지적이 나왔습니다. LLM이 코드 작성의 효율성을 높일 수는 있지만, 성능 예산 책정, 우선순위 설정, 그리고 프로덕션(production) 환경으로의 출시 과정에서 발생하는 복잡하고 숨겨진 비용 문제까지 해결하지 못하기 때문입니다. 이는 소프트웨어 성능 개선이 단순히 기술적 문제만이 아닌, 조직 문화와 경제적 요인이 복합적으로 작용하는 결과임을 시사합니다.
소프트웨어 최적화에는 단순히 코드를 빠르게 만드는 것 이상의 노력이 필요합니다. 정확성 검증, 회귀(regression) 방지, 데이터 재구성, 마이그레이션(migration), 그리고 장기적인 유지보수 등 다양한 단계에서 비용과 시간이 소모됩니다. 예를 들어, 병렬 컴파일(parallel compile)이 빠른 구현을 가능하게 해도 비결정적 동작(nondeterministic behavior)을 유발할 수 있으며, LLM이 생성한 코드가 특정 벤치마크에 과적합(overfitting)되어 일반적인 성능은 좋지 않은 경우도 있습니다. 또한, 개발 조직이 이익 센터가 아닌 비용 센터로 취급되는 기업 환경에서는 성능 개선의 투자수익률(ROI)을 설득하기 어렵고, LLM 도입을 이유로 개발 일정이 압축되면서 성능 개선에 할당될 예산과 시간이 오히려 줄어들 수 있습니다.
사용자들의 느린 작업에 대한 수용 기준이 변화하고 있다는 점도 흥미롭습니다. 에이전트(agent) 작업이 비동기화(asynchronous)되면서 과거에는 용납하기 어려웠던 지연이 현재는 받아들여지는 경향이 있습니다. 이는 사용자가 더 많은 기능을 얻는 대가로 성능 저하를 수용하는 측면도 있지만, 개발팀 입장에서는 성능 개선의 시급성을 낮게 평가하게 만들 수 있습니다. 결국 LLM은 숙련된 전문가의 최적화 역량을 확대할 수는 있지만, 조직적 제약과 장기적인 숨은 비용까지 없애지는 못합니다. 소프트웨어 성능 문제는 기술 발전만으로 해결될 수 없는, 복합적인 인간과 조직의 문제로 남아있습니다.