최근 AI 추론(inference) API들이 초기 약속과는 달리, 사용자가 AI와의 대화 세션을 온전히 소유하고 관리하기 어렵게 변화하고 있다는 비판이 제기되었습니다. 본래 AI API는 입력과 출력을 주고받으면 대화 기록(transcript)이 사용자에게 남아 이를 검토, 보관, 재생하거나 다른 모델에 넘겨줄 수 있을 것이라는 기대가 있었습니다. 하지만 현재는 모델의 중간 추론 과정, 웹 검색 결과의 원본 자료, 압축된 컨텍스트 등 핵심 데이터가 제공자에게 종속된 형태로 반환되면서, 사용자의 세션 소유권이 모호해지고 있다는 지적입니다.
이러한 현상은 주로 암호화된(encrypted) 데이터와 서버 저장 방식 때문에 발생합니다. 예를 들어, 사용자가 비용을 지불하는 추론 토큰(reasoning tokens)이 암호화된 형태로 반환되어 사용자는 내용을 볼 수 없고, 오직 제공자만이 해독할 수 있습니다. 또한, OpenAI의 Responses API나 Gemini의 Interactions API처럼 대화 기록이 기본적으로 제공자 서버에 저장되는 경우가 늘고 있습니다. 이는 애플리케이션이 전송하는 데이터 양을 줄이고, 제공자가 숨겨진 추론 상태를 유지하며 캐싱을 용이하게 하는 장점이 있지만, 사용자가 자신의 대화 기록을 온전히 통제하기 어렵게 만듭니다. 즉, 사용자의 로컬 애플리케이션에는 최종 텍스트와 메시지만 남고, 실제 세션의 운영 상태는 제공자의 서버에 종속되는 구조가 됩니다.
이러한 변화는 AI 도구 개발자와 사용자 모두에게 중요한 의미를 가집니다. 사용자는 자신이 AI와 나눈 대화의 모든 내용을 검사(inspection)하고, 다른 모델로 전환(export)하며, 재현(replay)하고, 사후 감사(audit)하며, 서버에서 완전히 삭제(deletion)하는 데 제약을 받게 됩니다. 이는 AI 시스템의 투명성과 사용자 통제권을 약화시킬 수 있습니다. 특히, '암호화된 콘텐츠(encrypted_content)'라는 용어가 사용자 프라이버시 보호처럼 들리지만, 실제로는 제공자만 열어볼 수 있는 '제공자 봉인 상태(provider-sealed state)'인 경우가 많아 용어의 오용 가능성도 제기됩니다. AI 기술이 발전함에 따라 사용자 데이터의 소유권과 통제권에 대한 명확한 논의와 정책 마련이 시급해 보입니다.