최근 알바로 비델라(Alvaro Videla)는 대규모 언어모델(LLM)이 겪는 고질적인 문제 중 하나인 산술 계산 오류를 해결하기 위한 흥미로운 실험을 진행했습니다. 그는 JIT(Just-In-Time) 보조 방식을 도입하여 LLM이 복잡한 계산을 직접 처리하는 대신, 외부 도구에 해당 작업을 위임하도록 함으로써 계산 정확도를 크게 향상시키는 가능성을 탐색했습니다.
이 실험의 핵심은 LLM이 질문을 받으면, 단순히 텍스트를 생성하는 것을 넘어 필요한 경우 외부 계산 엔진이나 프로그래밍 언어 인터프리터(예: 파이썬)를 호출하여 계산을 수행하도록 하는 것입니다. 예를 들어, '123 * 456'과 같은 계산 요청이 들어오면, LLM은 이를 직접 계산하려 하지 않고, '계산기 사용'과 같은 내부 지시를 통해 외부 도구에 쿼리를 보내고 그 결과를 받아 답변에 통합하는 방식입니다. 이는 LLM이 마치 인간이 계산기를 사용하는 것처럼, 자신의 약점을 인지하고 적절한 도구를 활용하는 메타 인지 능력을 부여하는 것과 유사합니다.
이러한 JIT 보조 방식은 LLM의 신뢰성을 높이는 데 중요한 의미를 가집니다. 현재 LLM은 복잡한 추론이나 정확한 수치 계산에서 여전히 한계를 보이며, 때로는 '환각(hallucination)' 현상으로 잘못된 정보를 생성하기도 합니다. 외부 도구와의 연동은 이러한 약점을 보완하여, LLM이 더욱 신뢰할 수 있는 정보원으로서 기능할 수 있도록 돕습니다. 이는 금융, 과학, 공학 등 정확한 수치 계산이 필수적인 분야에서 LLM의 활용 범위를 넓히는 데 기여할 것으로 보입니다.