최근 딥러닝 분야에서 고정된 활성화 함수 대신 학습 가능한 단변수 함수를 사용하는 콜모고로프-아놀드 네트워크(KAN)가 주목받고 있습니다. KAN은 뛰어난 해석력과 효율적인 파라미터(매개변수) 수를 자랑하지만, 기존 B-스플라인(B-spline) 구현의 높은 계산 비용과 다항식 기반 KAN 변형들의 입력 도메인 불일치라는 근본적인 문제에 직면했습니다. 즉, 무한한 실수 값을 입력으로 받는 반면, 직교 다항식은 유한하거나 반무한한 도메인에서만 정의된다는 한계가 있었습니다.
이러한 문제를 해결하기 위해 스틸체스-위거트 콜모고로프-아놀드 네트워크(SW-KAN)가 새롭게 제안되었습니다. SW-KAN은 반무한 도메인 (0, 무한대)에서 정의되는 스틸체스-위거트 q-직교 다항식을 활용합니다. 또한, 안정적인 기울기(gradient)를 유지하면서 도메인 간의 간극을 메우는 부드러운 '지수-하이퍼볼릭 탄젠트(exponential-of-tanh) 매핑' 기법을 도입했습니다. 이를 통해 특수 함수 호출 없이 O(N) 연산으로 다항식 확장을 평가하는 수치적으로 안정적인 3항 점화식(three-term recurrence)을 구현했습니다.
SW-KAN은 이미지 분류 및 연속 함수 근사 등 광범위한 실험을 통해 기존 다항식 KAN 모델들을 뛰어넘는 정확도와 효율성을 입증했습니다. 특히, 피처(feature) 차원 축소나 제한된 학습 데이터와 같은 자원 제약이 있는 환경에서도 강력한 성능을 보여주었습니다. 스틸체스-위거트 다항식의 로그-정규(log-normal) 가중치 구조와 학습 가능한 q-파라미터(q-parameter)는 이러한 견고한 성능을 가능하게 하는 독특한 귀납적 편향(inductive bias)을 제공합니다. 이는 적은 파라미터로 복잡한 다변수 함수를 근사하고 분류하는 데 탁월한 능력을 보여주며, 자원이 제한된 환경에서 효율적인 함수 근사 및 분류를 위한 매력적인 대안이 될 것입니다.