오픈AI(OpenAI)가 자사의 코딩 전문 인공지능(AI) 모델인 코덱스(Codex)의 컨텍스트(context) 크기를 372k 토큰에서 272k 토큰으로 축소했습니다. 이 변경은 코덱스 0.144 릴리스의 번들 모델 메타데이터(metadata)를 업데이트하는 과정에서 이루어졌으며, 깃허브(GitHub)의 PR #33972를 통해 병합되었습니다. 구체적인 변경 목적이나 기술적 배경에 대한 설명 없이 JSON 파일 하나만 수정된 것으로 알려져 사용자들 사이에서 다양한 추측과 논의가 오가고 있습니다.
이번 컨텍스트 크기 축소는 모델이 한 번에 처리할 수 있는 정보의 양이 줄어든다는 것을 의미합니다. 많은 개발자와 사용자들은 긴 코드베이스나 복잡한 문서 작업을 할 때 컨텍스트가 충분하지 않으면 모델이 중요한 세부 정보를 놓치거나 환각(hallucination) 현상을 보일 수 있다고 우려합니다. 특히 코덱스의 자동 압축(automatic compression) 기능이 중요한 정보를 손실시키고, 압축 후에는 이전 대화 기록으로 돌아갈 수 없어 작업 효율이 떨어진다는 불만이 제기됩니다. 일부 사용자들은 앤트로픽(Anthropic)의 클로드(Claude)처럼 100만 토큰 이상의 컨텍스트를 제공하는 모델로 전환을 고려하고 있다고 밝히기도 했습니다.
반면, 컨텍스트 크기 축소가 반드시 부정적인 것만은 아니라는 의견도 있습니다. 컨텍스트가 너무 커지면 모델의 추론 성능이 저하되고 비용이 증가할 수 있다는 지적입니다. 일부 전문가들은 300k 토큰 이상의 컨텍스트를 상시 사용하는 것은 비효율적이며, 작업을 모듈화하고 필요한 정보만 선별적으로 제공하는 '분할 정복(divide and conquer)' 방식이 더 효과적이라고 주장합니다. 또한, 마크다운(Markdown) 파일에 작업 메모리를 저장하거나, 에이전트(agent)가 하위 에이전트(sub-agent)를 생성하여 필요한 정보를 조사하고 계획을 세우는 방식으로 컨텍스트를 효율적으로 관리할 수 있다는 대안도 제시되고 있습니다. 이번 변경은 오픈AI가 모델의 비용 효율성을 높이거나, 컨텍스트 관리 방식에 대한 새로운 접근을 시도하고 있을 가능성을 시사합니다.