최근 연구에 따르면 트랜스포머 모델이 단순히 주어진 가설 범위 내에서 데이터를 필터링하는 것을 넘어, 데이터 자체로부터 가장 적합한 가설 클래스를 능동적으로 선택하는 베이즈 모델 선택(Bayesian model selection)이 가능하다고 합니다. 이는 인공지능(AI)이 복잡한 세상의 다양한 현상 중 어떤 모델이 가장 적합한지 스스로 판단할 수 있는 중요한 진전으로 평가됩니다.
연구진은 '모델 선택 베이즈 풍동(model-selection Bayesian wind tunnels)'이라는 통제된 환경을 구축하여, 실제 가설 클래스에 대한 사후 확률(posterior)을 정확히 알 수 있는 조건에서 실험을 진행했습니다. 이 환경에서 280만 개 매개변수(parameter)를 가진 트랜스포머는 고정점 없는 대합(fixed-point-free involutions)이라는 관계형 속성을 가진 함수를 식별하는 태스크에서 베이즈 최적값과 0.01비트(bit) 엔트로피(entropy) 차이로 거의 완벽하게 일치하는 성능을 보였습니다. 이는 정수 토큰(integer tokens)과 의미가 매 에피소드마다 바뀌는 불투명 심볼(opaque symbols) 모두에서 성공했으며, 심지어 대합과 3-사이클(3-cycles)처럼 서로 부분집합 관계가 아닌 비중첩(non-nested) 클래스 비교에서도 0.001 미만의 클래스 사후확률 평균 절대 오차(MAE)를 달성하여 단순성 편향(simplicity bias)을 넘어선 진정한 모델 선택 능력을 입증했습니다.
하지만 모델 선택 성공 여부는 '지각적 접근 조건(perceptual access condition)'에 따라 크게 달라졌습니다. 모듈러 덧셈(modular addition)이나 곱셈(multiplication)과 같은 산술적 연산이 필요한 경우, 트랜스포머는 정수 토큰으로는 모델 선택에 성공했지만, 불투명 심볼로는 완전히 실패했습니다. 이러한 한계는 모델 크기를 112배(280만 개에서 3억 1,600만 개)로 확장해도 지속되었습니다. 이는 안정적인 의미론(stable semantics), 즉 토큰의 고정된 의미가 회로 컴파일(circuit compilation)을 가능하게 하는 핵심 요소임을 시사합니다. 최신 대규모 언어모델(LLM)에 대한 추가 실험에서는 베이즈적 행동을 보였으나, 큰 보정 격차(calibration gap)를 드러내며 아직 개선의 여지가 있음을 보여주었습니다.
이 연구는 트랜스포머가 단순한 패턴 인식이나 예측을 넘어, 복잡한 모델 가설을 평가하고 선택하는 고차원적인 추론 능력을 가질 수 있음을 시사합니다. 이는 인공지능이 과학적 발견, 복잡한 시스템 모델링, 그리고 의사 결정 과정에서 더욱 중요한 역할을 할 수 있는 잠재력을 의미합니다. 특히, 데이터로부터 가장 적절한 설명 모델을 찾아내는 능력은 인공지능의 신뢰성과 활용 범위를 넓히는 데 기여할 것입니다.