코덱스(Codex)의 '스킬(skill)' 기능이 대규모 언어모델(LLM)의 토큰 사용량을 절약하는 데 효과적인지에 대한 흥미로운 벤치마크 결과가 발표되었습니다. 이 테스트는 GPT-5.6-sol 모델을 사용하여 6번의 실행을 통해 스킬 유무와 종류에 따른 토큰 사용량 변화를 측정했습니다. 결론적으로 스킬 사용이 항상 토큰을 절약하는 것은 아니며, 작업의 규모와 성격에 따라 그 효과가 달라진다는 점이 드러났습니다.
벤치마크는 '작은 수정(small fix)'과 '중간 규모 구현(medium implementation)'이라는 두 가지 작업 크기를 설정하고, '스킬 없음(No skill)', '전체 엔지니어링 루프(Full v0.2)', '경량 엔지니어링 루프(Lean v0.4)'의 세 가지 스킬 변형을 비교했습니다. 특히 '중간 규모 구현' 작업에서는 스킬을 사용했을 때 토큰 사용량이 크게 줄어들었지만, '작은 수정' 작업에서는 오히려 스킬을 사용하지 않았을 때 더 적은 토큰이 소모되는 상반된 결과가 나타났습니다. 예를 들어, '중간 규모 구현' 작업에서 스킬을 사용하지 않았을 때 828,446 토큰이 사용된 반면, '경량 엔지니어링 루프' 스킬을 사용했을 때는 380,767 토큰으로 절반 이상 감소했습니다. 그러나 '작은 수정'에서는 스킬 사용이 토큰 손실로 이어졌습니다.
이러한 결과는 AI 개발 및 운영에서 스킬 활용 전략의 중요성을 강조합니다. 무조건적인 스킬 적용보다는 작업의 특성과 규모를 고려하여 최적의 스킬 조합을 찾아야 한다는 의미입니다. 특히 비용 효율적인 AI 시스템을 구축하려는 개발자들에게는 스킬의 장단점을 명확히 이해하고 신중하게 적용하는 것이 필수적입니다. 이번 벤치마크는 제한된 조건에서 수행되었으므로, 더 다양한 환경과 작업에 대한 추가적인 검증이 필요하지만, AI 모델의 효율성을 높이기 위한 실질적인 통찰을 제공한다는 점에서 의미가 큽니다.