영국의 스텔스 인공지능(AI) 연구소 프리프론탈(Prefrontal)이 AI 시스템이 방대한 양의 정보를 효율적으로 처리하는 데 핵심적인 기술적 난제를 해결하는 새로운 연구 결과를 발표했습니다. 옥스퍼드 대학교(University of Oxford)의 제임스 위팅턴(James Whittington) 교수와 루아리드 배틀데이(Ruairidh Battleday) 박사가 공동 설립한 프리프론탈은 '잠재 희소 어텐션(Latent Sparse Attention, LSA)'이라는 방법을 통해 기존 어텐션(attention) 방식 대비 최대 72.4배 빠른 정보 처리 속도를 달성했다고 밝혔습니다.
이번 연구는 AI 모델이 수백만 개의 토큰(token)에 달하는 방대한 문맥(context)을 처리할 때 발생하는 계산 비용 문제를 해결하는 데 중점을 둡니다. 기존의 '풀 어텐션(full attention)' 방식은 문맥이 길어질수록 계산 비용이 기하급수적으로 증가하는 병목 현상을 겪습니다. 프리프론탈의 LSA는 정보를 순서가 아닌 의미에 따라 그룹화하여 관련 정보를 더 효율적으로 식별합니다. 이로 인해 1천만 토큰 문맥에서 어텐션 레이어 처리 속도가 72.4배 빨라졌으며, 기존 희소 어텐션(sparse attention) 방식보다도 22.7배 빠른 성능을 보였습니다. 이는 전체 AI 시스템 성능 향상에 기여할 수 있는 중요한 부분입니다.
프리프론탈은 이번 연구 외에도 AI 시스템이 미지의 규칙을 발견할 수 있는지 평가하는 벤치마크인 'DiG-bench(Discovery in Games)'를 개발하여 100만 회 이상의 조회수를 기록한 바 있습니다. DiG-bench는 현존하는 최강 AI 모델들도 해결하지 못하는 도전 과제를 제시하며, AI의 새로운 지식 발견 능력의 한계를 드러냈습니다. LSA 기술은 AI가 방대한 지식을 처리하고, DiG-bench는 새로운 정보를 발견하도록 돕는 상호 보완적인 역할을 합니다. 이러한 연구들은 AI가 단순히 질문에 답하는 것을 넘어 과학 연구를 수행하고 새로운 발견을 가속화하는 데 필수적인 기반 기술이 될 것으로 기대됩니다.