다중 최적점(multimodal black-box function)을 찾는 것은 최적화, 베이즈 추론(Bayesian inference), 과학 계산 등 다양한 분야에서 핵심적인 난제입니다. 기존의 접근 방식들은 순차적으로 작동하여 현대 GPU 하드웨어의 병렬 처리 능력을 제대로 활용하지 못했습니다. 최근 Ira Wolfson이 발표한 '키사오'(Chisao)는 이러한 한계를 극복하고 GPU의 대규모 병렬성을 활용하여 모든 최적점을 동시에 탐색하는 새로운 인구 기반 최적화(population optimizer) 알고리즘입니다.
키사오는 '수렴-정지-반전-고정-진동'(Convergence-Halt-Invert-Stick-And-Oscillate)이라는 독특한 메커니즘을 사용합니다. 이는 의도적인 수렴-반수렴(convergence-anticonvergence) 진동 주기를 통해 지역 최적점(local traps)에 갇히지 않고 전역 최적점(global optimum)을 찾아냅니다. 특히, 참된 최적점(true peaks)에 도달한 샘플은 '고정'(stuck)되어 보존하고, 나머지 샘플들은 모멘텀 기반의 반수렴과 확률적으로 부드러워진 경사(stochastically smoothed gradients)를 통해 계속 탐색합니다. 또한, '반발 원숭이'(Repulse Monkey)와 '황금 수탉'(Golden Rooster)이라는 두 가지 보완적인 전략을 통해 탐색 과정 전반에 걸쳐 인구 다양성을 유지합니다.
이 알고리즘은 Simon Fraser University의 42개 최적화 벤치마크 함수에 대해 2차원부터 64차원까지 테스트되었고, 모든 경우에서 100%의 최적점 복구율을 달성했습니다. 이는 기존 CPU 기반 방식들이 8차원 이상에서 실패하는 것과 대조적입니다. 속도 면에서도 모든 방법이 성공하는 함수(Michalewicz d=64)에서는 기존 방식 대비 최대 34배, 단일 최적점 함수(Rotated Hyper-Ellipsoid d=64)에서는 최대 39배 빠른 속도를 보였습니다. 심지어 상당한 수준의 노이즈(likelihood noise)가 있는 환경에서도 100%의 최적점 감지 신뢰도를 유지했습니다. 키사오는 현재 파이썬 패키지로 PyPI에 오픈 소스로 공개되어 누구나 활용할 수 있습니다.
키사오의 등장은 다중 최적점 탐색이 필요한 모든 분야에 큰 영향을 미칠 것입니다. 특히 베이즈 추론을 통한 모델 학습, 복잡한 시스템의 파라미터 최적화, 신소재 설계, 약물 발견 등에서 기존에는 불가능했던 속도와 정확도로 문제를 해결할 수 있게 됩니다. GPU의 병렬 처리 능력을 극대화하여 고차원 문제에서도 뛰어난 성능을 보이는 만큼, 연구 개발 및 산업 현장에서의 활용 가치가 매우 높습니다. 오픈 소스 라이브러리로 제공되어 개발자들이 쉽게 접근하고 통합할 수 있다는 점도 확산에 기여할 것입니다.