최근 연구에서 엣지 디바이스(Edge Device)에 탑재된 소형 언어모델(SLM)의 고질적인 문제인 낮은 정확도와 비효율성을 해결할 새로운 접근 방식이 제시되었습니다. 기존 엣지 AI는 네트워크 연결 없이 빠르고 개인화된 추론(inference)을 제공하지만, 사칙연산, 대수학, 논리 문제 등 컴퓨터가 잘 처리해야 할 결정론적 작업에서 신뢰성이 떨어진다는 한계가 있었습니다. 연구팀은 이러한 비신뢰성 대부분이 피할 수 있는 문제라고 주장하며, '뉴로심볼릭 라우터(Neurosymbolic Router)'를 제안했습니다.
이 뉴로심볼릭 라우터는 들어오는 질의(query)를 분류하여 가장 적합하고 효율적인 해결사(solver)로 보냅니다. 구조적으로 결정론적인 작업은 정확하고 빠른 심볼릭 엔진(symbolic engine)으로 보내고, 개방형 언어 문제만 소형 언어모델(SLM)에 할당하는 방식입니다. 라우팅 로직을 수동으로 코딩하는 대신, L* 문법 추론 알고리즘을 사용하여 결정론적 유한 오토마타(DFA)를 학습시켰습니다. 라즈베리 파이 4B(8GB RAM, GPU 없음)에서 딥마인드 수학, GSM8K, RuleTaker 데이터셋의 100개 미사용 프롬프트로 평가한 결과, 학습된 라우팅 방식은 100%의 라우팅 정확도와 98.3%의 전반적인 정확도를 달성했습니다. 이는 기존 최강 에이전트인 프로그램 오브 쏘트(Program-of-Thought)의 72.0%나 툴 콜링(tool-calling) 에이전트의 58.7%보다 훨씬 높은 수치입니다.
이러한 뉴로심볼릭 라우팅은 엣지 AI의 신뢰성을 획기적으로 높일 뿐만 아니라, 효율성 측면에서도 큰 개선을 가져왔습니다. 정형화된 질의는 모델을 거치지 않으므로 1~11밀리초(ms) 만에 답변이 가능하며, 30토큰(token) 구성에서는 프로그램 오브 쏘트보다 8.8배 빠르고 2.8배 더 에너지 효율적이었습니다. 이는 엣지 디바이스의 제한된 자원 환경에서 언어모델을 더욱 실용적으로 활용할 수 있게 하며, 오프라인 환경에서의 개인 비서, 스마트 팩토리 제어, 로봇 내장 AI 등 다양한 분야에서 새로운 애플리케이션 개발 가능성을 열어줄 것으로 기대됩니다.