최근 'NobodyWho'라는 새로운 오픈소스 온디바이스 추론(on-device inference) 엔진이 등장하며, 앱과 게임 개발 방식에 변화를 예고하고 있습니다. 이 엔진은 클라우드 기반의 AI API를 사용하는 대신, AI 모델을 사용자의 기기에서 직접 실행할 수 있도록 지원합니다. 이를 통해 개발자들은 인터넷 연결이나 별도의 API 키 없이도 앱과 게임에 대화, 이미지 이해, 음성 인식 등 다양한 AI 기능을 내장할 수 있게 됩니다.
NobodyWho는 Python, Kotlin, Swift, React Native/Expo, Flutter, Godot 등 다양한 개발 환경을 위한 연동(binding)을 제공하여 데스크톱 및 모바일 앱, 게임에 AI 기능을 쉽게 통합할 수 있습니다. 특히, 앱의 함수를 AI가 호출할 수 있는 도구(tool)로 연결하고, 함수의 인자 이름과 타입을 읽어 호출 형식을 자동 구성하는 기능은 개발 편의성을 크게 높입니다. 또한, 멀티모달(multimodal) 모델을 지원하여 이미지와 음성을 직접 입력받아 처리할 수 있으며, Whisper 음성 인식, 음성 합성, 발화 감지 기능을 통해 사용자의 말을 듣고 음성으로 응답하는 기능을 로컬에서 구현할 수 있습니다. 임베딩(embedding)과 검색 결과 재정렬(reranking)을 지원하여 앱 내 문서에서 관련 내용을 찾아 답하는 RAG(Retrieval Augmented Generation) 구성도 가능합니다.
이 엔진은 Rust와 llama.cpp를 기반으로 Gemma, Qwen, Mistral 등 다양한 GGUF 모델을 실행하며, Vulkan 및 Metal GPU 가속과 CPU 실행을 모두 지원합니다. 사용 가능한 GPU 메모리에 맞춰 모델의 일부만 GPU에 올리고 나머지는 CPU에서 처리하는 유연한 방식도 제공합니다. 모델은 Hugging Face 주소, HTTPS URL 또는 로컬 파일로 지정할 수 있으며, 원격 모델은 자동 다운로드 및 캐시됩니다. NobodyWho는 사용자 입력이 외부 서버로 전송되지 않아 개인정보 보호에 유리하며, 인터넷 연결 없이도 AI 기능을 사용할 수 있다는 점에서 오프라인 환경이나 보안이 중요한 애플리케이션에 특히 유용할 것으로 기대됩니다. 이는 AI 기술의 접근성을 높이고, 개발자들이 더욱 혁신적인 사용자 경험을 제공할 수 있는 기반을 마련할 것입니다.