언어 모델(LLM)이 생물리학(biophysics)과 같이 물리학과 생물학이 결합된 학제간(interdisciplinary) 과학 연구 문헌을 분석하고 정확하게 추론하는 데 어려움을 겪고 있습니다. 이러한 난제를 해결하기 위해, 칭양 쉬(Qingyang Xu) 연구팀은 '바이오피스-브릿지(BioPhys-Bridge)'라는 새로운 벤치마크 데이터셋을 공개했습니다. 이 벤치마크는 LLM이 관찰된 데이터를 원본 증거에 기반하여 정량적인 물리 모델로 해석하고, 이를 생물학적 메커니즘과 연결하는 다단계 과학적 추론 능력을 평가하는 데 초점을 맞춥니다.
바이오피스-브릿지 데이터셋은 증거 블록, 고유 증거 ID, 정량적 값, 단위, 방정식, 가정, 메커니즘, 그리고 다음 결정과 같은 요소들을 포함하며, 질문 답변(QA) 및 검색 증강 생성(RAG)의 근거(grounding) 목표로 활용됩니다. 초기 버전은 500개의 사례와 1,517개의 에이전트 대상 작업으로 구성되어 있으며, 6가지 생물학 도메인과 9가지 물리 모델군을 다룹니다. 특히, 모든 사례는 엄격한 품질 검증을 거쳤으며, 81개 사례는 도메인 전문가의 검토 및 주석이 추가되었습니다. 예비 평가에서 딥시크-V4-플래시(DeepSeek-V4-Flash)가 가장 높은 증거 ID F1 점수(0.360)를 기록했고, 큐웬3.7-맥스(Qwen3.7-Max)와 GPT-4o-mini가 그 뒤를 이었습니다.
이 벤치마크는 LLM의 귀인(attribution), 충실도(faithfulness), 환각(hallucination) 감소, 그리고 복잡한 다단계 과학적 추론을 통한 생물학 실험 설계 능력을 평가하는 데 중요한 역할을 합니다. 바이오피스-브릿지는 LLM이 단순히 정보를 나열하는 것을 넘어, 과학적 맥락에서 깊이 있는 이해와 추론을 수행하도록 돕는 중요한 도구가 될 것입니다. 향후 데이터셋의 규모와 복잡성을 확장하고 포괄적인 평가를 수행할 예정이며, 관련 코드와 데이터는 깃허브(GitHub)와 허깅 페이스(Hugging Face)에서 접근할 수 있습니다. 이는 학제간 연구 분야에서 AI의 활용 가능성을 넓히고, 과학 연구의 효율성을 높이는 데 기여할 것으로 기대됩니다.