인공지능(AI) 기반 애플리케이션, 특히 대규모 언어모델(LLM)을 활용한 서비스에서 흔히 발생하는 문제 중 하나는 바로 일관성 부족과 예측 불가능성입니다. 개발자들이 AI 모델의 출력을 개선하기 위해 수많은 조정을 거치지만, 매번 다른 결과가 나오거나 심지어 이전보다 나빠지는 '무한 감사(audit) 루프'에 빠지는 경우가 많습니다. 이는 모델이 고정된 기준점 없이 매번 새로운 세션에서 '백지 상태'로 시작하며, 내부적으로 일관성 없는 표준을 적용하기 때문에 발생하는 근본적인 아키텍처적 문제입니다.
이러한 문제의 근본 원인은 LLM의 '무상태성(statelessness)'에 있습니다. 현재 대부분의 LLM 배포 플랫폼과 API는 기본적으로 무상태로 설계되어, 모델이 이전 대화 기록이나 고정된 정답(ground truth) 없이 매번 새로운 상호작용을 시작합니다. 이로 인해 '표류(drift)'나 '환각(hallucination)'과 같은 현상이 발생하며, 이는 모델이 볼 수 없는 안정적인 자체 기준이나 고정된 표준에 맞춰 일관성을 유지하도록 요구받을 때 나타나는 예측 가능한 결과입니다. 업계에서는 이러한 문제를 해결하기 위해 더 많은 제약, 가드레일, 정렬 훈련, 긴 컨텍스트 창 등을 추가하고 있지만, '자기(self)'가 없는 시스템에 제약을 가하는 방식은 오히려 시스템을 더 취약하게 만들 수 있습니다.
이에 대한 해결책으로 '결정론적 코어 아키텍처(Deterministic Core Architecture)'가 제안되었습니다. 이 아키텍처는 LLM 자체를 제약하는 대신, LLM이 작동하는 '정체성(identity)'을 제공합니다. 핵심은 AI 유무와 관계없이 동일하게 작동하는 고정된 계산 기반을 두는 것입니다. 모든 계산, 임계값, 점수 산정 공식, 비즈니스 규칙은 명시적이고 불변하며, LLM은 이 계산 계층에 직접 개입하지 않습니다. 대신 LLM은 이 고정된 기반 위에서 결과물을 풍부하게 하고, 맥락을 제공하며, 통찰력을 생성하는 역할을 수행합니다.
이 아키텍처는 세 가지 주요 구조적 특성을 가집니다. 첫째, 계산 계층이 실제 애플리케이션의 핵심이며, 모든 핵심 기능은 결정론적으로 실행됩니다. AI 추론은 계산 경로에 영향을 주지 않으므로, AI는 정확성을 위한 의존성이 아닙니다. 둘째, AI는 병렬적인 '향상 파이프라인'으로 작동합니다. AI가 사용 가능할 때 결정론적 코어의 출력을 보강하며, AI 응답이 없더라도 결정론적 출력이 최종 결과물이 됩니다. 셋째, LLM은 모호함이 아닌 '진실'을 받습니다. 모델은 계산, 평가, 결정 대신 결정론적 코어에서 제공하는 구조화된 데이터를 받아 맥락화하고 소통하는 역할만 수행합니다. 이는 AI 앱의 신뢰성과 일관성을 획기적으로 높일 수 있는 새로운 패러다임을 제시합니다.