최근 OpenAI, Anthropic, Google 등 주요 AI 모델 공급자들이 제공하는 추론(inference) API가 사용자 대화 세션의 소유권을 점차 공급자 내부로 가져가고 있다는 지적이 제기되었습니다. 암호화된 추론 결과, 호스팅 검색, 불투명한 압축 상태, 서브 에이전트(sub-agent) 메시지 등 다양한 요소들이 공급자 내부에 숨겨지면서, 사용자가 보유한 대화 기록은 완전한 세션이 아닌 일부만 보이는 사본으로 전락하고 있습니다. 이는 사용자가 자신의 AI 대화 기록을 자유롭게 검사, 내보내기, 재생, 감사, 삭제하는 것을 어렵게 만들고 있습니다.
초기 추론 API는 사용자가 입력과 출력을 보관하면 대화를 검사하거나 다른 모델에 넘길 수 있을 것이라는 기대를 주었습니다. 그러나 최근 API들은 텍스트와 함께 공급자에 종속된 상태를 반환합니다. 예를 들어, 비용이 청구되지만 불투명한 암호문이나 제한적인 요약으로만 돌아오는 추론 토큰, 모델이 본 원문을 클라이언트가 받지 못하는 웹 검색 결과, 공급자만 복호화할 수 있는 압축 문맥 등이 대표적입니다. 특히 다중 에이전트(multi-agent) 시스템에서는 에이전트 간 위임 내용과 메시지까지 암호화되거나 자동 압축되어, 사용자가 시스템의 작동 방식을 투명하게 파악하고 감사하기가 더욱 어려워지고 있습니다. 이러한 공급자 봉인 상태(provider-sealed state)는 같은 생태계 내의 연속성을 높일 수는 있지만, 다른 공급자가 이어받을 수 없는 종속성을 축적하게 됩니다.
이러한 현상은 AI 서비스 생태계에 중요한 영향을 미칩니다. 사용자가 세션 중간에 모델을 바꾸는 경우가 많지 않더라도, 이식성(portability)은 사용자와 공급자 간의 관계를 근본적으로 변화시킵니다. 모델 폐기, 서비스 장애, 가격 변경, 정책 변경, 기밀 단계의 로컬 실행, 감사 등 다양한 상황에서 세션 이전이 필요할 수 있습니다. 특히 에이전트가 수일 또는 수년에 걸친 긴 세션을 만들면서 중요한 결정과 증거가 쌓이는 코딩, 연구, 개인 비서 같은 작업에서는 세션 이식성이 필수적입니다. 사용자가 다른 공급자로 쉽게 이동할 수 있다면, AI 공급자들은 모델 품질, 가격, 신뢰성으로 공정하게 경쟁해야 합니다. 하지만 누적된 문맥이 특정 공급자에게만 해석 가능하다면, 사용자는 떠나기 어려운 불리한 유인 구조에 갇히게 됩니다.
따라서 이식 가능한 추론 API는 몇 가지 원칙을 따라야 합니다. 첫째, 로컬 이벤트 로그가 기준 기록이 되어야 하며, 서버 저장은 보조적인 역할에 머물러야 합니다. 둘째, 데이터 저장은 명시적인 선택 사항이어야 하며, `store: false`와 같은 옵션이 기본값이 되어야 합니다. 셋째, 암호화된 추론이나 압축 같은 불투명한 항목이 의미를 독점해서는 안 되며, 읽을 수 있는 공급자 중립적 인계 표현도 함께 제공해야 합니다. 넷째, 호스팅 도구는 정확한 입력과 출력, 증거, 출처 등을 포함하는 전체 충실도(full-fidelity) 로그를 남겨야 합니다. 마지막으로, 서브 에이전트 통신은 감사 가능해야 하며, 각 에이전트의 정확한 작업과 메시지를 읽을 수 있게 보존해야 합니다. 이러한 원칙들이 지켜질 때 비로소 사용자는 자신의 AI 대화 세션에 대한 완전한 통제권을 확보하고, AI 생태계의 건강한 경쟁과 혁신이 촉진될 수 있을 것입니다.