오픈AI(OpenAI)의 최신 대규모 언어모델(LLM) GPT-6 아스트라(Astra)가 특정 벤치마크에서 99.9%라는 놀라운 성능을 보여주며 인공일반지능(AGI)에 대한 기대를 높였습니다. 하지만 이 수치는 모델 자체의 성능만을 의미하는 것이 아니라, '하네스(harness)'라는 주변 시스템과의 긴밀한 통합을 통해 달성된 결과라는 점이 주목됩니다. 하네스는 모델의 메모리 관리, 도구 호출, 문맥 유지, 제어 루프 등을 담당하는 소프트웨어 계층으로, 모델의 실제 활용성과 효율성을 결정하는 핵심 요소입니다.
실제로 동일한 추론 설정에서도 표준 하네스를 사용했을 때는 54.8%에 그쳤던 아스트라의 점수가, 오픈AI가 자체 설계한 하네스를 적용하자 99.9%로 크게 상승했습니다. 이는 하네스가 요청 사이에 이전 추론 상태를 보존하고 긴 대화를 압축하며, 과거 문맥 검색, 비동기 도구 호출, 실행 중 지시 변경과 같은 고급 기능을 제공하기 때문입니다. 이러한 기능들은 에이전트가 복잡하고 장기적인 작업을 수행할 때 효율성을 극대화하고, 평가 비용까지 절반 이상 줄이는 효과를 가져왔습니다. 예를 들어, 아스트라는 100만 토큰의 긴 문맥 창을 가지지만, 하네스의 문맥 압축 및 검색 기능 덕분에 중요한 과거 정보를 효율적으로 활용할 수 있습니다.
이러한 결과는 장기 실행 에이전트의 성능을 평가할 때 단순히 모델의 벤치마크 점수만을 볼 것이 아니라, 모델과 이를 둘러싼 시스템 전체를 종합적으로 고려해야 함을 명확히 보여줍니다. 아스트라가 범용 디지털 작업자(universal digital worker)를 향한 중요한 진전임은 분명하지만, AGI 도달 여부를 판단하기 위해서는 실제 업무 환경에서의 결과 품질, 오류 복구 능력, 지연 시간, 총 비용 등을 포함한 포괄적인 평가가 필요합니다. 공급자 중립적인 하네스를 통한 모델 비교와 실제 배포 시스템에서의 성능 평가를 구분하여, 모델이 실제 비즈니스 가치를 창출하는지 검증하는 것이 중요합니다. 궁극적으로 모델의 성능은 하네스라는 '제품'과 함께 진정한 가치를 발휘하게 될 것입니다.