최근 공개된 연구 논문에 따르면, 대규모 언어모델(LLM)이 뇌전도(EEG) 데이터를 단순히 분류하는 것을 넘어, 종합적으로 이해하고 분석하는 능력을 평가하는 새로운 벤치마크 '브레인벤치(BrainBench)'가 등장했습니다. 이는 LLM이 자연어 지시를 받아 뇌파 신호를 처리하고, 정량적 증거를 제시하며, 과학적인 해석 보고서까지 생성하는 복합적인 역량을 측정하기 위해 고안되었습니다.
브레인벤치는 기초 분석, 수면 평가, 신경인지 평가, 생리적 통합의 네 가지 하위 영역을 포함하며, 17개 데이터셋과 수많은 실제 데이터 인스턴스를 활용합니다. 연구팀은 코드 실행 방식의 '코드액트(CodeAct)'와 에이전트 기반 분석 방식의 '브레인에이전트(BrainAgent)' 두 가지 패러다임으로 여러 대표 LLM을 평가했습니다. 그 결과, 모델의 종류, 난이도, 실행 방식에 따라 성능 차이가 크게 나타나, LLM의 뇌파 이해 역량이 아직 초기 단계임을 시사합니다.
이 벤치마크는 LLM이 뇌 과학 및 의료 분야에서 복잡한 진단 및 연구 보조 도구로 발전할 수 있는 중요한 기반을 마련합니다. 기존의 단편적인 평가를 넘어, 실제 전문가의 워크플로우와 유사한 방식으로 LLM의 역량을 검증함으로써, 향후 더욱 정교하고 신뢰할 수 있는 AI 기반 뇌파 분석 시스템 개발을 촉진할 것으로 기대됩니다. 브레인벤치는 LLM 기반 뇌파 이해 연구의 발전을 위한 재현 가능한 테스트베드를 제공하며, 관련 코드와 벤치마크는 곧 공개될 예정입니다.