최근 대규모 언어모델(LLM) 기반의 AI 비서들이 인기를 끌고 있지만, 높은 비용과 느린 응답 속도, 그리고 때로는 부정확한 답변으로 사용자들의 불만이 커지고 있습니다. 이러한 상황에서, 'TERMy'라는 새로운 터미널 어시스턴트가 등장하여 주목받고 있습니다. TERMy는 임베딩(embeddings), 머신러닝(ML), 심지어 LLM조차 사용하지 않고도 자연어 명령을 처리하며, 라즈베리 파이 제로(Raspberry Pi Zero) 같은 저사양 기기에서도 밀리초(ms) 단위로 빠르게 작동한다고 개발자는 강조합니다.
TERMy의 개발자는 과거 PJON(Padded Jittering Operative Network)이라는 네트워크 프로토콜을 개발했던 인물로, LLM 기반 모델들의 비효율성과 높은 비용에 대한 대안을 모색했습니다. 그는 직접 100~200M 파라미터 규모의 트랜스포머(Transformer) 모델을 구현하고 학습시켜 보았으나, 만족스럽지 못한 결과와 비효율적인 자원 소모를 경험했습니다. 이후 Ollama와 같은 로컬 모델도 시도했지만, 여전히 속도와 안정성 면에서 한계를 느꼈습니다. 결국 그는 임베딩, 머신러닝, LLM을 모두 배제하고, 'NPC-Forge 데이터셋 형식(NDF 0.0)'이라는 자체적인 데이터셋 규약을 기반으로 TERMy를 개발했습니다. 이 데이터셋은 카테고리, 입력 문장, 텍스트 응답, 실행할 도구 호출 등을 포함하는 JSON 형태로, 마치 매트릭스의 네오가 주짓수를 배우듯 새로운 지식을 즉시 학습할 수 있는 구조입니다.
TERMy의 등장은 AI 기술 활용에 있어 '무조건 LLM'이라는 기존의 고정관념에 도전하는 중요한 의미를 가집니다. 특히 개발자들이 일상적으로 사용하는 터미널 환경에서 간단한 자연어 명령을 처리하는 데 굳이 거대한 LLM이 필요하지 않다는 점을 보여줍니다. 이는 비용 효율성, 속도, 그리고 프라이버시 측면에서 큰 장점을 제공하며, 저사양 기기에서도 AI 비서 기능을 활용할 수 있는 가능성을 열어줍니다. 복잡한 추론이나 창의적인 글쓰기에는 LLM이 필수적이지만, 정형화된 명령 실행이나 정보 검색에는 TERMy와 같은 경량화된 접근 방식이 훨씬 실용적일 수 있음을 시사합니다.