인공지능(AI) 추론 워크로드에서 민감한 입력 데이터를 처리하거나 독점적인 모델 자산을 보호해야 하는 요구사항이 늘면서, 기밀 컴퓨팅(Confidential Computing)의 중요성이 커지고 있습니다. 하지만 GPU 가속 대규모 언어모델(LLM) 서빙 환경에서 기밀 실행을 활성화할 경우 발생하는 성능 비용에 대한 명확한 이해가 부족했습니다. 최근 발표된 연구는 이러한 기밀 컴퓨팅 환경에서의 실제 성능 저하를 정량적으로 분석하여 업계의 주목을 받고 있습니다.
이번 벤치마크 연구는 인텔 TDX(Trusted Domain Extensions) 기반의 기밀 인스턴스에 호스팅된 단일 엔비디아 H100 80GB GPU를 사용하여 진행되었습니다. 연구팀은 대표적인 두 가지 언어 모델인 미스트랄-7B v0.1(Mistral-7B v0.1)과 Qwen3-30B-A3B를 활용해 표준 비기밀 실행 모드와 기밀 컴퓨팅 모드의 성능을 비교했습니다. 평가 지표로는 첫 토큰 생성 시간(Time to First Token, TTFT), 종단 간 요청 지연 시간, 요청당 토큰 생성 처리량, 전체 토큰 처리량, 그리고 동시성 증가에 따른 폐쇄 루프 요청 처리량 등이 사용되었습니다.
실험 결과, 고정 요청 속도(fixed request-rate) 환경에서 기밀 모드는 미스트랄-7B의 평균 TTFT를 21.8%, Qwen3-30B-A3B는 27.8% 증가시켰습니다. 또한, 전체 토큰 처리량(global token throughput)은 각각 17.7%와 21.1% 감소했습니다. 동시성(concurrency)이 증가하는 폐쇄 루프(closed-loop) 실험에서는 처리량 격차가 11.5%에서 20.2% 범위에 머물렀지만, 더 큰 모델은 기밀 모드에서 포화 지점(saturation knee)에 더 일찍 도달하는 경향을 보였습니다. 이는 기밀 GPU 추론이 부하 상태에서도 사용 가능한 처리량을 유지할 수 있지만, 용량 계획 시 안정적인 처리량 페널티와 대규모 모델에서 관찰되는 조기 포화 현상을 모두 고려해야 함을 시사합니다.
이 연구 결과는 기밀 컴퓨팅 환경에서 AI 추론 서비스를 구축하려는 기업들에게 중요한 가이드라인을 제공합니다. 보안 강화가 필수적인 금융, 의료, 국방 등 특정 산업 분야에서는 이러한 성능 저하를 감수하더라도 기밀 컴퓨팅을 도입할 수밖에 없습니다. 따라서 개발자와 운영팀은 모델의 크기, 예상되는 동시 사용자 수, 그리고 허용 가능한 지연 시간 등을 종합적으로 고려하여 최적의 인프라를 설계해야 합니다. 향후에는 하드웨어 및 소프트웨어 최적화를 통해 기밀 컴퓨팅의 성능 오버헤드를 줄이는 연구가 더욱 활발해질 것으로 예상됩니다.