지난 4년간 대규모 언어모델(LLM)이 소프트웨어 개발 분야에 혁명적인 변화를 가져올 것이라는 기대가 컸지만, 실제 효과에 대한 회의적인 시각이 제기되었습니다. 한 전문가는 환경, 사회, 정치적 우려에 앞서 LLM이 비자명한 소프트웨어 개발에 실제로 효과적인지조차 아직 입증되지 않았다고 주장합니다. 1.5조 달러에 달하는 막대한 투입에도 불구하고, 소프트웨어의 품질, 속도, 비용, 기능, 보안 면에서 뚜렷한 개선을 찾기 어렵다는 것이 핵심입니다.
이 주장의 근거는 여러 연구 결과에 기반합니다. 코드 줄 수나 병합된 풀 리퀘스트(PR) 수와 같이 전체 생산성과 직접 연결되지 않는 지표를 측정한 연구에서는 미미하거나 부정적인 효과가 나타났습니다. 특히 LLM이 생성한 PR은 사람의 PR보다 병합 가치가 현저히 낮았으며, 최첨단 모델조차 취미 개발자가 쉽게 발견할 수 있는 명백하고 중요한 문제를 놓치는 사례가 많았습니다. 이는 LLM이 만들어내는 코드의 품질과 목적 적합성에 대한 의문을 제기합니다. 또한, 코드를 기능적으로 복제하는 것과 사람들이 시스템의 기반으로 삼을 만큼 신뢰받는 오픈소스 프로젝트를 만드는 것은 근본적으로 다르다는 점도 강조됩니다.
이러한 회의론은 단순히 기술적 효용성 문제를 넘어, 소프트웨어 개발 산업의 본질과 노동 시장의 변화에 대한 중요한 시사점을 던집니다. 일부 비판론자들은 빅테크 기업들이 LLM을 밀어붙이는 숨은 목표가 지식 노동을 동질화하여 개발자들의 협상력을 낮추려는 것이라고 분석합니다. 소프트웨어 개발이 마지막 남은 '길드형 분야' 중 하나였으나, LLM 도입으로 인해 산업화되고 있다는 우려도 나옵니다. 결국 기업이 LLM 도입을 포기하게 만들 요인은 윤리적 문제보다는 비용 대비 가치 부족이 될 것이라는 현실적인 전망도 제시됩니다.
그러나 LLM의 잠재력을 완전히 부정하는 것은 아닙니다. 일부 개발자들은 LLM을 인간의 역량을 증강하는 도구로 활용하는 방안을 모색합니다. 예를 들어, 특정 분야의 전문 지식이 부족할 때 LLM을 통해 관련 용어와 자료를 빠르게 탐색하고, 이를 바탕으로 스스로 학습하여 결국 LLM 없이도 문제를 해결할 수 있는 자립적 사용 모델입니다. 이는 LLM을 단순히 코드를 생성하는 기계가 아니라, 인간의 지식 탐색과 학습 과정을 가속화하는 보조 도구로 활용할 때 진정한 가치를 발휘할 수 있음을 시사합니다.