연합학습(Federated Learning, FL) 분야의 연구는 데이터 프라이버시를 보호하면서 여러 기기나 기관의 데이터를 활용해 모델을 훈련하는 중요한 기술입니다. 하지만 이 과정에서 최적화(optimizer) 방식, 서버 집계(aggregation) 규칙, 로컬 훈련(local training) 스케줄, 정규화(regularization) 등 수많은 알고리즘적 선택이 필요하며, 이러한 선택 하나하나가 최종 모델 성능에 큰 영향을 미칩니다. 이처럼 복잡하고 방대한 알고리즘 조합을 수동으로 탐색하고 비교하는 것은 시간과 비용이 많이 드는 비효율적인 작업이었습니다.
이러한 문제를 해결하기 위해 '오토-FL-리서치(Auto-FL-Research, AFR)'라는 새로운 접근 방식이 제안되었습니다. AFR은 AI 코딩 에이전트를 활용하여 연합학습 알고리즘 레시피를 자동으로 탐색하는 워크플로우입니다. 이 에이전트는 서버 집계 규칙, 클라이언트 업데이트 스케줄, 로컬 목표 함수, 모델 아키텍처 변형 등 다양한 훈련 알고리즘 후보를 직접 제안하고 구현할 수 있습니다. 연구팀은 AFR을 헬스케어 분야의 FLamby 태스크 5가지와 LEAF 데이터셋 5가지 및 합성 태스크에 적용하여 그 효과를 검증했습니다. 실험 결과, AFR은 여러 태스크에서 성능 향상을 보였지만, 동시에 특정 설정에서는 실패 사례도 발견되어 에이전트가 생성한 후보들을 반복적인 FL 메커니즘, 고정된 표면 튜닝 효과, 단일 실행 아티팩트로 분류하는 것이 중요함을 시사했습니다.
AFR의 등장은 연합학습 연구의 패러다임을 바꿀 잠재력을 가지고 있습니다. 연구자들이 수동으로 알고리즘을 탐색하는 대신, AI 에이전트가 방대한 가능성을 효율적으로 탐색하고 최적의 조합을 찾아내도록 지원함으로써 연구 속도를 가속화할 수 있습니다. 이는 특히 자원 제약이 있는 1인 연구자나 소규모 팀에게 큰 도움이 될 수 있습니다. 에이전트가 제안하는 알고리즘을 분석하여 어떤 요소가 성능에 기여하는지 이해하는 것은 연합학습 메커니즘에 대한 더 깊은 통찰을 제공하고, 향후 더욱 견고하고 효율적인 연합학습 시스템을 구축하는 데 기여할 것입니다.