이질적인 분산 시스템에서 각기 다른 데이터 분포, 센싱 방식, 모델 구조를 가진 에이전트들이 효과적으로 협력하여 학습하는 것은 연합 학습(Federated Learning)의 오랜 난제였습니다. 최근 발표된 연구 논문은 이러한 문제를 해결하기 위해 ‘쉬프 기반 연합 표현 학습(Sheaf-based Federated Representation Learning, SFRL)’이라는 새로운 프레임워크를 제안했습니다. SFRL은 각 로컬 모델의 학습 목표를 최적화하는 동시에, 학습 가능한 쉬프 제한 맵(sheaf restriction maps)을 기반으로 매니폴드 제약이 있는 기하학적 정렬(geometric alignment)을 적용하여 이질성 문제를 극복합니다.
SFRL의 핵심은 기존 연합 학습 방식들이 흔히 가정하는 공유된 전역 잠재 공간(shared global latent space) 없이도 전역적인 일관성을 달성한다는 점입니다. 대신, 이 프레임워크는 직교 변환(orthogonal transformations)과 등거리 임베딩(isometric embeddings)을 통해 인접한 잠재 표현(latent representations)들을 정렬합니다. 이러한 정렬은 쉬프 라플라시안(sheaf Laplacian)에서 파생된 2차 결합 정규화(quadratic gluing regularizer)를 통해 강화되며, 학습 가능한 제한 맵이 관측된 데이터에 맞춰 기하학적 구조를 조정합니다. 특히, 이 정규화는 소수의 공유된 파일럿 샘플(pilot samples)에 대해서만 평가되어 확장성과 통신 효율성을 동시에 확보합니다. 연구팀은 SFRL을 해결하기 위한 분산 알고리즘인 Sheaf-FRL을 개발했으며, 이는 로컬 모델의 경사 하강 업데이트와 엣지별 제한 맵의 폐쇄형 프로크루스테스(Procrustes) 업데이트를 번갈아 수행합니다.
SFRL은 모델 및 데이터 이질성이 존재하는 의미론적 통신(semantic communication) 환경에서의 협력적 분류(cooperative classification) 작업에 적용되어 그 성능을 입증했습니다. 실험 결과, Sheaf-FRL은 다양한 수준의 로컬 분포 변화에서도 기존 기준선(baseline) 접근 방식들보다 로컬 및 통신 후 분류 정확도(classification accuracy) 측면에서 우수한 성능을 보였습니다. 또한, 잠재 공간 차원 압축(latent-space dimensionality compression)에 대해서도 더 높은 견고성을 나타냈습니다. 이는 SFRL이 실제 이질적인 환경에서 연합 학습의 효율성과 정확도를 크게 향상시킬 수 있음을 시사하며, 향후 다양한 분산 AI 시스템 및 다중 에이전트 시스템(Multiagent Systems) 개발에 중요한 기반 기술이 될 수 있습니다.