퀄컴이 최근 IQ-9075 EVK(평가 키트)를 활용해 엣지(Edge) 환경에서 RAG(검색 증강 생성, Retrieval Augmented Generation) 기반의 생성형 인공지능(GenAI) 시연에 성공했습니다. 이는 클라우드 서버에 의존하지 않고 스마트폰, 로봇, 드론 등 최종 사용자 기기 자체에서 대규모 언어모델(LLM)이 최신 정보를 검색하고 이를 바탕으로 정확한 답변을 생성할 수 있음을 보여줍니다. 온디바이스 AI의 가능성을 한 단계 확장하는 중요한 이정표입니다.
이번 시연은 퀄컴의 스냅드래곤(Snapdragon) 프로세서가 탑재된 IQ-9075 EVK에서 진행되었습니다. RAG 기술은 LLM이 답변을 생성하기 전에 외부 데이터베이스에서 관련 정보를 검색하여 맥락을 보강하는 방식입니다. 이를 통해 LLM의 고질적인 문제인 환각(hallucination) 현상을 줄이고, 학습 데이터 이후의 최신 정보까지 반영하여 더욱 정확하고 신뢰할 수 있는 답변을 제공할 수 있습니다. 특히 엣지 기기에서 RAG를 구현함으로써, 클라우드 연결 없이도 개인화된 최신 정보를 활용한 AI 서비스가 가능해졌습니다.
이러한 엣지 RAG 기술은 여러 산업 분야에 걸쳐 혁신적인 변화를 가져올 잠재력을 가지고 있습니다. 사용자 데이터가 기기 외부로 전송되지 않아 개인 정보 보호가 강화되고, 클라우드 지연 없이 실시간으로 AI 응답을 받을 수 있어 사용자 경험이 크게 향상됩니다. 또한, 네트워크 연결이 불안정한 환경에서도 AI 기능을 안정적으로 사용할 수 있게 됩니다. 이는 스마트 공장의 로봇, 자율주행 차량, 스마트 홈 기기 등 다양한 엣지 디바이스에서 더욱 지능적이고 독립적인 AI 서비스 구현을 가속화할 것으로 기대됩니다.