한 개발자가 엔비디아(NVIDIA)의 고성능 컴퓨팅 장비인 DGX Spark에서 Qwen3.6-27B 대규모 언어모델(LLM)을 성공적으로 구동하여 실제 코드를 작성하고 배포한 경험을 공유했습니다. 이 사례는 로컬 환경에서 LLM 추론(inference)을 직접 운영하며 발생하는 복잡한 기술적 난관들을 극복하고, 실제 업무에 활용 가능한 수준의 코드 생성 능력을 확보했음을 보여줍니다.
이 개발자는 Qwen3.6-27B-FP8 모델을 256K 컨텍스트(context)로 DGX Spark GB10 장비에 설정했습니다. 이 과정에서 그는 엔비디아 GPU 클라우드(NGC) 이미지 버전 문제, vLLM과 트랜스포머(Transformers) 라이브러리 간의 호환성 문제, 그리고 맘바(Mamba) 캐시 모드(cache mode) 충돌 등 여러 기술적 장벽에 부딪혔습니다. 특히, 기존에 사용하던 모델 러너(Model Runner) V2가 Qwen3.6-27B 모델의 하이브리드 어텐션(hybrid attention) 및 맘바 레이어(Mamba layer)와 충돌하는 문제를 발견하고, 모델 러너 V1으로 전환하여 해결했습니다. 최종적으로는 vLLM 0.22.1, 트랜스포머 5.6.0 버전을 포함하는 NGC 이미지와 LiteLLM 프록시를 활용해 안정적인 스택을 구축했습니다.
이번 성공 사례는 급증하는 클라우드 기반 LLM 추론 비용에 대한 대안으로서 로컬 LLM의 잠재력을 입증합니다. 개발자는 이 스택을 활용하여 자신의 오픈소스 프로젝트인 클라우리움(Clawrium)에 실제 코드를 기여하며, 로컬 LLM이 단순한 요약(summarization)을 넘어 복잡한 추론(reasoning)과 도구(tools) 활용을 통해 실질적인 개발 작업을 수행할 수 있음을 보여주었습니다. 이는 고성능 로컬 LLM 환경 구축이 여전히 도전적이지만, 일단 성공하면 무한한 토큰(token)과 24시간 에이전트(agent) 활용이라는 큰 이점을 얻을 수 있음을 시사합니다.