메타(Meta)가 자사의 대규모 언어모델(LLM) 기반 광고 파운데이션 모델인 'GEM(General Embedding Model)'의 학습 효율을 획기적으로 개선했다고 밝혔습니다. 핵심은 데이터 전처리 단계에서 임베딩 캐싱(embedding caching)과 샘플링(sampling) 기법을 적용하여 모델 학습에 필요한 데이터 양을 줄이고, 중복을 최소화한 것입니다. 이를 통해 GEM 모델의 학습 효율을 무려 두 배로 높이는 데 성공했습니다.
GEM은 메타의 방대한 광고 생태계에서 사용자 행동을 예측하고 관련성 높은 광고를 추천하는 데 사용되는 핵심 파운데이션 모델입니다. 기존에는 수십억 개의 사용자-광고 상호작용 데이터를 매번 처음부터 처리해야 했기에 학습에 막대한 시간과 컴퓨팅 자원이 소모되었습니다. 메타는 이 문제를 해결하기 위해, 자주 사용되는 임베딩(embedding) 값을 캐시(cache)에 저장하여 재사용하고, 학습에 불필요한 저품질 데이터를 필터링하는 샘플링 전략을 도입했습니다. 특히, 임베딩 캐싱은 이미 계산된 데이터 표현을 재활용함으로써 중복 계산을 없애고, 샘플링은 모델 학습에 더 유익한 데이터 포인트만 선별하여 전체 학습 데이터셋의 크기를 줄이는 효과를 가져왔습니다.
이번 GEM 학습 효율 개선은 메타의 광고 시스템 전반에 걸쳐 상당한 파급 효과를 가져올 것으로 예상됩니다. 학습 시간과 비용 절감은 물론, 모델을 더 자주 업데이트하고 새로운 광고 전략을 빠르게 실험할 수 있게 합니다. 이는 궁극적으로 사용자에게는 더욱 개인화되고 관련성 높은 광고 경험을 제공하고, 광고주에게는 더 효율적인 광고 캠페인 운영을 가능하게 할 것입니다. 또한, 대규모 AI 모델의 효율적인 학습 방법론을 제시함으로써, 다른 빅테크 기업이나 AI 연구 커뮤니티에도 중요한 시사점을 제공할 것으로 보입니다.