대규모 언어모델(LLM)의 성능이 빠르게 향상되면서 많은 사람이 LLM이 생성한 결과물을 검증 없이 받아들이거나, 문제가 생겼을 때 다시 LLM에 수정을 맡기는 방식으로 업무를 처리하고 있습니다. 하지만 이러한 '생각을 멈추는' 접근 방식은 현재는 물론 미래에도 직원에게 유효한 전략이 될 수 없다는 지적이 제기되었습니다. 현재는 LLM이 만든 소프트웨어에 심각한 문제가 남아있고, 미래에 LLM이 홀로 훌륭한 소프트웨어를 만들게 된다면 기업은 중간에 요청만 전달하는 직원 없이 모델을 직접 반복 실행할 것이기 때문입니다.
2025년 초부터 LLM에 요약이나 코드 작성을 맡긴 후 제대로 됐다고 가정하는 사용 방식이 나타났는데, 당시에는 대체로 잘 작동하지 않고 우스운 결과를 낳기도 했습니다. 모델이 좋아지면서 이런 사용이 늘었고, 결과가 작동하지 않으면 사람이 문제를 판단하는 대신 LLM에 다시 해결을 요청하는 경우가 많아졌습니다. 닉클라스 그룬(Niklas Gruhn)은 이런 방식을 '미트 프록시(meat proxy)'라고 부르며, 사람이 반복문(while, for)처럼 행동하며 요청과 재시도를 중계하는 역할을 한다고 비판했습니다. 2026년 9월 시점에는 이런 방식의 개발도 어느 정도 작동하는 결과물을 만들지만, 여전히 직접 사용하거나 성공적이라고 평가할 수준은 아니었습니다. 가치가 높은 작업에는 여전히 인간의 감독과 설계 판단이 필요하며, 루크 버튼(Luke Burton)은 실패해도 되는 낮은 가치의 작업에 한해서만 LLM의 결과를 지켜보지 않고 자리를 뜰 수 있다고 강조했습니다.
가치가 높은 작업을 LLM이 한 번에 해결할 가능성은 훨씬 낮기 때문에, 사람이 품질 보증 담당자, 엔지니어링 관리자, 아키텍트 역할을 맡아야 합니다. 에이전트의 높은 처리량은 출시 품질의 기준 또한 높여, 이전에는 MVP(최소 기능 제품)로 출시하고 개선했을 작업에서도 더 많은 다듬기와 예외 상황 탐색을 요구하게 됩니다. 에이전트는 이런 작업을 명시적으로 요청하지 않으면 수행하지 못하므로, 쉬운 과제를 끝냈다는 데 만족하지 않고 더 어려운 과제까지 맡길 필요가 있습니다. 또한, 학습 분포 밖의 문제나 명세로 표현하기 어려운 요구사항에서는 사람의 판단이 더욱 중요해집니다. 예를 들어, 바젤(Bazel) 빌드 전환 같은 자동화하기 쉬워 보이는 작업도 에이전트를 사용해도 수개월이 걸린 사례가 있으며, 이는 숨겨진 요구사항과 결정할 지점이 많기 때문입니다.
테스트나 지표 충족이 실제 성공을 보장하지 않는다는 점도 중요합니다. LLM이 테스트에 과도하게 맞추거나 특정 지표에 과적합하는 문제를 놓칠 수 있기 때문입니다. 실제로 LLM에 사고를 맡긴 사람들이 만든 소프트웨어에는 심각한 문제가 있었고, 만든 사람이 성공이라고 평가해도 실제 사용 기준으로는 작동하지 않는 경우가 많았습니다. 한 영향력 있는 인물이 클로드(Claude)가 전문가만큼 문제를 해결했다며 '프로그래밍이 해결됐다'고 선언했지만, 확인된 깃허브(GitHub) 사례들은 모두 작동하지 않거나 매우 나쁘게 작동했습니다. 이는 개인용 도구의 한계와 상용 제품의 품질을 구분해야 함을 시사합니다.
결과적으로, LLM의 발전이 인간의 노동을 불필요하게 만들 것이라고 예상하더라도, 은퇴할 준비가 되지 않았다면 판단과 노력을 포기할 이유는 오히려 줄어듭니다. 성능이 좋아져도 단순 전달자의 자리는 남지 않을 것이기 때문입니다. 기업들은 AI를 명분으로 해고에 적극적인 상황이며, 노력이나 가치 제공 없이 일자리를 유지하려는 시도로는 현재와 가까운 미래가 가장 불리한 시기일 수 있습니다. 따라서 LLM 시대에도 인간은 비판적 사고, 품질 검증, 복잡한 설계 판단 등 가치 높은 작업에 집중하며 자신의 역할을 재정의해야 할 것입니다.