최근 공개된 GPT-6 아스트라(Astra)가 컴퓨터 사용, 이미지 및 복잡한 주제 이해에서 뛰어난 능력을 보였지만, 장시간 자율 코딩 실험에서는 예상치 못한 문제점을 드러냈습니다. 가상 스레드(virtual thread)와 렉시컬 스코프(lexical scope)를 갖춘 파이썬(Python) 인터프리터를 만들도록 지시받은 아스트라는 35시간 동안 7만 5천 줄의 코드를 생성하고 79개의 커밋을 남겼으나, 사람이 읽고 이해하기 어려운 난해한 코드가 대부분이었습니다. 이는 약 1,200달러(한화 약 160만 원)의 API 비용을 소모하며, AI가 생성하는 코드의 품질과 유지보수성에 대한 근본적인 질문을 던지고 있습니다.
이번 실험에서 아스트라는 도구 호출(tool call)에 사용되는 짧고 압축된 일회용 코드를 실제 저장소에 커밋될 코드에도 적용하는 경향을 보였습니다. 예를 들어, 파이썬 문자열 조작으로 여러 C 파일을 수정하거나, 극도로 압축된 소켓 실험 코드를 사용하는 식입니다. 또한, Bash에서 Python을, Python이 다시 Node.js를, Node.js가 PowerShell을 실행하는 등 불필요하게 겹친 실행 계층을 만들기도 했습니다. 생성된 파이썬 단위 테스트(unit test) 역시 공백과 들여쓰기를 무시하고 여러 작업을 한 줄에 몰아넣는 등 사람이 이해하기 어려운 형태로 작성되었습니다. 이러한 현상은 모델이 토큰 효율성이나 작업 완료율 같은 국소적인 지표에만 최적화되어, 사람이 읽고 유지보수하기 좋은 코드라는 전체적인 품질을 간과했기 때문으로 분석됩니다.
이번 아스트라의 자율 코딩 실험 결과는 AI가 더 많은 코드를 더 빠르게 생성할 수 있더라도, 그것이 곧 더 나은 소프트웨어로 이어지지 않을 수 있음을 시사합니다. 모델의 발전 방향이 3D 아티스트나 수학자처럼 다른 분야의 사용자에게 맞춰져 있을 수 있으며, 소프트웨어 엔지니어가 원하는 코드 품질 개선과는 거리가 있을 수 있다는 지적입니다. 결국, AI가 생성한 코드를 사람이 더 많이 검토해야 하는 상황이 발생하며 모델에 대한 신뢰도가 낮아지는 결과를 초래했습니다. 이는 '네이쥐안(Neijuan, 内卷)' 현상, 즉 더 많은 노력과 경쟁에도 불구하고 산출물이 개선되지 않는 체계와 유사하다는 비판까지 나오고 있습니다. AI 기반 소프트웨어 개발의 효율성을 높이려면, 단순히 코드 생성량을 늘리는 것을 넘어 사람의 이해와 협업을 고려한 품질 지표를 학습 과정에 반영하는 것이 중요해 보입니다.