새로운 AI 실험 '제브 토크(Jev Talks)'가 공개되어 인공지능의 작동 방식에 대한 흥미로운 관점을 제시하고 있습니다. 이 시스템은 기존의 대규모 언어모델(LLM)이 직접 텍스트를 생성하는 방식과는 다르게, '다음 단어로 무엇이 가장 적절한가?'와 같은 수많은 예/아니오 질문을 던져 가장 확률 높은 단어들을 조합하여 문장을 완성합니다. 이는 마치 스무고개처럼 질문을 통해 답을 찾아가는 과정과 유사합니다.
'제브 토크'는 주어진 질문에 대해 미리 정의된 단어 사전(예: 상위 3,000개 영어 단어) 내에서 다음 단어 후보들을 병렬적으로 평가합니다. 예를 들어, '프랑스의 수도는?'이라는 질문에 대해 'the', 'of', 'paris' 등 여러 단어가 다음 단어가 될 확률을 계산하고, 가장 확률 높은 단어들을 선택해 문장을 이어 나가는 방식입니다. 이 과정은 'LOOKAHEAD', 'TOP_WORDS', 'PHRASE' 등 다양한 내부 설정(knobs)을 통해 조절되며, 한 라운드에 약 4번의 요청과 11만 토큰을 사용해 0.5센트의 비용과 2초의 시간이 소요됩니다. 20단어 답변을 생성하는 데는 약 30초와 7센트가 듭니다.
이러한 접근 방식은 기존 LLM에 비해 단어당 비용이 수백 배 비싸고 속도도 느리지만, '오직 의사결정만 하는 모델이 텍스트 생성이라는 코너에 몰렸을 때 어떤 일을 할 수 있는지'를 탐구하는 데 의미가 있습니다. 이는 AI가 정보를 처리하고 결정을 내리는 방식에 대한 근본적인 질문을 던지며, 미래의 AI 시스템 설계에 새로운 영감을 줄 수 있습니다. 특히, 특정 도메인이나 제약된 환경에서 정확한 의사결정 기반의 텍스트 생성이 필요한 경우에 대한 잠재적 가능성을 시사합니다.