인공지능(AI) 기반 신약 개발에서 모델의 신뢰성은 매우 중요합니다. 최근 약물 발견 분야에서 모델의 예측 정확도를 정량적으로 보증하는 '등각 예측(Conformal Prediction)' 기법이 주목받고 있습니다. 이 기법은 특정 오류율(alpha)을 설정하면, 실제 라벨이 예측 세트에 포함될 확률이 최소 1-alpha가 되도록 보장합니다. 하지만 최근 발표된 연구에 따르면, 이러한 보증이 데이터 불균형(imbalanced datasets) 상황에서는 오히려 위험할 수 있다는 경고가 나왔습니다.
연구팀은 4가지 데이터셋을 대상으로 표준 등각 예측(marginal conformal prediction)을 적용한 결과, 전체 예측 커버리지(coverage)는 목표치인 90%를 달성했지만, 소수 클래스(minority class)에 대한 커버리지는 크게 떨어지는 현상을 발견했습니다. 예를 들어, 혈뇌장벽(blood-brain-barrier) 투과성 예측에서는 소수 클래스 커버리지가 64.8%로, 임상 시험 독성 예측에서는 무려 4.2%까지 급락했습니다. 이는 희귀 질병이나 특정 부작용처럼 데이터 수가 적은 중요한 케이스에 대해 AI 모델이 사실상 예측을 포기하는 것과 다름없습니다. 이러한 문제는 랜덤 포레스트(random forest), 그래프 네트워크(graph network), 화학 언어 모델(chemical language model) 등 다양한 모델에서 공통적으로 나타났으며, 모델 아키텍처보다는 희귀 라벨에 대한 기본 보정(calibration) 능력과 더 밀접한 관련이 있었습니다.
이러한 현상은 '보존 항등식(conservation identity)'으로 설명됩니다. 소수 클래스의 부족분은 다수 클래스의 잉여분을 불균형 비율로 증폭시킨 것과 같다는 원리입니다. 즉, 다수 클래스에 대한 과도한 보정이 소수 클래스의 예측 실패로 이어진다는 의미입니다. 더욱 우려스러운 점은 전체 정확도와 커버리지가 높게 유지되기 때문에 이러한 소수 클래스 예측 실패가 쉽게 간과될 수 있다는 것입니다. 연구팀은 이러한 문제를 해결하기 위해 '클래스 조건부 등각 예측(class-conditional, 또는 Mondrian conformal prediction)'을 제안했으며, 이를 통해 모든 데이터셋에서 소수 클래스 커버리지를 목표치까지 회복시킬 수 있음을 입증했습니다. 이는 신약 개발 과정에서 중요한 화합물을 놓치거나 잠재적 위험을 간과하는 것을 방지하여, 궁극적으로 스크리닝 캠페인의 유용성을 높일 수 있습니다.