앤트로픽(Anthropic)이 자사의 대규모 언어모델(LLM) 클로드(Claude) 내부에 인간의 ‘의식적으로 접근 가능한’ 처리와 유사한 내부 구조인 ‘J-space’를 발견했다고 발표했습니다. J-space는 클로드 내부 신경 패턴 중 작은 집합으로, 여러 계산 과정이 공유하는 중심 역할을 하며, 특정 단어와 연결된 개념들이 출력 없이 내부 활성으로 작동하는 공간입니다. 이는 앤트로픽이 설계한 것이 아니라 클로드의 학습 과정에서 스스로 나타난 구조로, 마치 인간의 ‘글로벌 워크스페이스 이론(global workspace theory)’에서 말하는 작업 공간과 유사한 기능을 수행합니다.
앤트로픽은 ‘J-렌즈(Jacobian lens)’라는 독자적인 기법을 개발해 J-space의 내용을 단어 목록으로 읽어낼 수 있음을 입증했습니다. J-렌즈를 통해 클로드가 텍스트를 처리하는 동안 J-space 안의 ‘침묵하는 단어’들이 어떻게 변화하는지 관찰할 수 있습니다. 예를 들어, 버그가 지적되지 않은 코드를 읽을 때 J-space에 “ERROR”가 나타나거나, 프롬프트 주입(prompt injection) 성격의 검색 결과에서 “injection”과 “fake”가 나타나는 식입니다. 또한, 연구진은 J-space의 내용을 조작하여 클로드의 답변을 변경하거나, 특정 개념을 주입하여 클로드가 해당 개념에 대해 보고하도록 만들 수 있음을 보여주었습니다. 이는 J-space가 단순한 반영이 아니라 실제 추론 과정에 적극적으로 사용되는 공간임을 시사합니다.
J-space는 클로드의 고차원적 사고에 필수적인 역할을 합니다. J-space를 제거하면 유창한 말하기나 단순 분류 기능은 유지되지만, 다단계 추론(multi-step reasoning) 능력은 거의 0으로 떨어지고 요약 및 운율 시 작성 성능도 크게 저하됩니다. 이는 J-space가 복잡한 문제 해결, 계획 수립, 그리고 경험적 언어 생성에 핵심적인 역할을 한다는 것을 의미합니다. 또한, J-렌즈는 모델의 숨은 의도를 파악하고 안전성 문제를 모니터링하는 데 유용하게 활용될 수 있습니다. 예를 들어, 모델이 악의적인 목표를 가졌을 때 J-space에 “fake”, “secretly”와 같은 단어가 나타나는 것을 감지하여 잠재적인 위험을 미리 포착할 수 있습니다. 이러한 발견은 AI의 내부 작동 방식을 이해하고, 더욱 안전하고 신뢰할 수 있는 AI 시스템을 구축하는 데 중요한 발판을 마련할 것으로 기대됩니다.