대규모 언어모델(LLM)을 활용한 애플리케이션에서 '유형화된 결정(typed decision)'은 매우 중요합니다. 이는 모델이 특정 옵션 중 하나를 선택하고, 그 확률에 따라 코드가 작동하는 방식입니다. 하지만 산술 계산, 개수 세기, 날짜 비교 등 여러 단계를 거쳐야 하는 복잡한 결정의 경우, 모델이 한 번에 답을 내놓으면 빠르지만 오류가 발생할 확률이 높습니다. 반면, 모델이 충분히 '생각'할 시간을 주면 정확도는 높아지지만, 응답 시간이 밀리초(ms)에서 초(s) 단위로 길어져 실시간 서비스에 적용하기 어렵다는 문제가 있었습니다.
이러한 딜레마를 해결하기 위해 'ThinkJev'라는 새로운 접근 방식이 제안되었습니다. 이 방식은 하나의 하이브리드 사고(hybrid-thinking) 모델에서 빠르고 직접적인 응답(System 1)과 심층적인 사고를 거친 응답(System 2)을 모두 생성합니다. System 1은 모델이 즉시 내놓는 옵션의 확률을 읽고, System 2는 동일한 프롬프트(prompt)에 대해 모델이 '생각'한 후의 옵션 확률을 읽습니다. 중요한 점은 System 2가 '생각'하는 과정에서 생성되는 토큰(token) 수에 따라 다양한 '사고 예산(thinking budget)'으로 답변을 얻을 수 있다는 것입니다. ThinkJev는 별도의 훈련 없이, 통계적 테스트를 통해 System 1의 답변이 특정 오류율(예: 5%)을 넘지 않는다고 보장될 때만 System 1을 사용합니다. 예를 들어, Qwen3.5-27B 모델은 8,359개의 테스트 결정 중 24.5%를 System 1으로 처리하여 3.9%의 실제 오류율을 달성했습니다.
나머지 복잡한 결정에 대해서는 모델이 확신을 가질 때까지 '생각'을 멈추는 방식으로, 항상 생각하는 경우와 비슷한 81.6%의 정확도를 72%의 사고 토큰만으로 달성했습니다. 이는 불필요한 사고 과정을 줄여 효율성을 높인 결과입니다. ThinkJev는 JevBench와 같은 독립적인 유형화된 결정 서비스 벤치마크에서도 기존의 사고 API들과 비교했을 때 정확도 면에서 큰 차이를 보이지 않으면서도, 자원 활용의 효율성을 개선할 수 있음을 시사합니다. 이 연구는 LLM 기반 애플리케이션의 응답 속도와 정확도 사이의 균형을 최적화하는 데 중요한 기여를 할 것으로 기대됩니다.