새로운 오픈소스 시맨틱 뉴스 API인 '클레어(Clair)'가 개발자 커뮤니티에 공개되어 주목받고 있습니다. 기존 뉴스 API들이 키워드(keyword) 일치에만 의존하여 관련성이 떨어지는 결과를 보여주거나 중요한 뉴스를 놓치는 한계가 있었다면, 클레어는 사용자가 입력한 문장의 '의미(meaning)'를 파악하여 가장 적합한 뉴스를 찾아주는 것이 핵심입니다. 이를 통해 사용자들은 단순히 특정 단어가 포함된 기사가 아닌, 자신이 찾고자 하는 주제와 맥락이 일치하는 뉴스를 정확하게 받아볼 수 있게 됩니다.
클레어 API는 백엔드에서 오픈소스 임베딩 모델인 BGE-M3를 사용하여 각 기사를 작은 덩어리(chunk)로 나누고 이를 벡터화(vectorization)합니다. 이후 MaxSim 알고리즘을 통해 사용자 질의와 가장 유사한 의미를 가진 청크를 찾아내어 관련 기사를 반환합니다. 이 과정에서 대규모 언어모델(LLM)은 사용되지 않으며, 순수한 벡터 연산으로 작동하기 때문에 동일한 입력에 대해 항상 동일한 점수와 결과를 제공하는 것이 특징입니다. 또한, 각 결과는 점수와 함께 해당 점수를 도출한 기사의 정확한 텍스트 청크를 제공하여 결과의 설명 가능성(explainability)과 감사 가능성(auditability)을 높였습니다. 현재 BBC, 가디언, 뉴욕타임스, 블룸버그 등 20개 이상의 신뢰할 수 있는 글로벌 언론사를 소스로 지원합니다.
클레어의 등장은 뉴스 모니터링 및 콘텐츠 큐레이션 방식에 큰 변화를 가져올 잠재력을 가지고 있습니다. 기업이나 개인 개발자는 특정 산업 동향, 경쟁사 소식, 또는 관심 있는 기술 주제를 문장으로 정의하고, 클레어를 통해 관련 뉴스를 실시간으로 정확하게 추적할 수 있습니다. 이는 정보 과부하 시대에 필요한 정보를 선별하고 가공하는 데 드는 시간과 노력을 크게 줄여줄 것입니다. 오픈소스 정책 덕분에 개발자들은 알고리즘을 직접 검토하고 필요에 따라 튜닝할 수 있어, 투명성과 유연성 측면에서도 강점을 가집니다.