최근 대규모 언어모델(LLM) 기반 코딩 도구의 활용이 늘면서, 이들이 생성하는 코드의 오류를 사람이 검토하면 된다는 주장이 제기되고 있습니다. 하지만 이러한 접근 방식이 실제 코드 품질과 개발 생산성을 동시에 보장하기 어렵다는 회의론이 힘을 얻고 있습니다. 인간의 코드 리뷰(code review) 처리 능력에는 명확한 한계가 있다는 경험적 연구 결과가 그 근거입니다.
경험적 연구에 따르면, 효과적인 코드 리뷰는 한 번에 1시간, 최대 400줄(LOC) 정도가 상한선으로 나타났습니다. 이 시간을 넘기면 개발자의 피로와 집중력 저하로 인해 결함 탐지 효과가 급격히 감소합니다. 이 기준을 LLM이 생성한 코드에 적용하면, 400줄마다 숙련된 개발자의 집중적인 검토 1시간이 필요하며, 현실적인 일일 처리량은 1,000줄 미만일 수 있습니다. 더욱이 초기 연구에서는 인간이 LLM 생성 코드에서 더 적은 결함을 발견하면서도, 모든 결함을 찾았다는 강한 확신을 보이는 경향이 있어 검토만으로 오류를 충분히 걸러내기 어렵다는 우려도 나옵니다.
LLM 코딩 도구를 마치 '인턴'처럼 활용하며 결과물 전면 검토를 해법으로 제시하는 경우가 많습니다. 하지만 LLM은 환각(hallucination)이나 오타, 요청과 무관한 결과물을 내놓는 등 비교적 높은 오류 위험을 가지고 있습니다. 특히 파싱이 느슨하고 의미가 중첩되어 오타 하나로 치명적인 오류를 유발할 수 있는 셸 스크립트(Bash script)와 같이 검토하기 어려운 코드를 LLM에 맡긴 후 인간이 확인하는 방식은, LLM 출력이 효과적인 검토 대상인지 먼저 입증되지 않은 채 가장 검토하기 어려운 코드를 대표 활용 사례로 삼는 모순을 안고 있습니다.
결론적으로, LLM 코딩 도구가 개발자의 생산성을 높이려면 인간 리뷰어가 LLM 생성 코드의 결함을 얼마나 잘 찾는지, 리뷰 속도와 하루 동안 지속 가능한 리뷰량은 어느 정도인지에 대한 실증적인 연구가 필요합니다. 현재의 과학적 데이터는 인간이 LLM 결과를 잘 검토하지 못하거나 문제를 탐지하기 어렵다는 쪽을 가리키고 있으며, 이는 LLM이 탐지를 회피하도록 훈련될 수 있다는 특성과도 일치할 수 있습니다. LLM 코딩 도구를 전문적인 개발 도구로 다루기 위해서는 '이번에는 내게 효과가 있었다'는 일화적 사례 대신, 인간공학적 관점과 경험적 증거를 중심으로 효과와 한계를 검증해야 할 시점입니다.