위키백과(Wikipedia)는 전 세계 지식의 보고이지만, 같은 주제라도 언어별 문서의 깊이와 내용이 천차만별인 경우가 많습니다. 예를 들어, 어떤 정치인의 영어 페이지에는 참고 자료가 3개뿐이지만 프랑스어 페이지에는 25개가 있을 수 있고, 과학자의 힌디어 페이지에는 초기 생애가 자세히 다뤄지는 반면 영어 페이지는 업적에만 집중할 수 있습니다. 이러한 정보 격차를 해소하기 위해 '위키퓨즈(wikifuse)'라는 새로운 오픈소스 도구가 등장했습니다. 위키퓨즈는 여러 언어 위키백과 문서를 병합하여 하나의 포괄적이고 출처가 명확한 페이지로 만들어주는 솔루션입니다.
위키퓨즈는 위키데이터(Wikidata) QID를 활용해 여러 언어의 문서를 다운로드하고, 비영어 텍스트를 영어로 번역하여 내용을 정렬합니다. 이후 문장 임베딩(sentence embedding) 기술을 사용해 의미론적으로 유사한 주장들을 클러스터링하고, 중복을 제거하면서도 고유한 내용과 출처를 보존하며 병합합니다. 최종적으로는 위키텍스트(wikitext)나 HTML 형식으로 출력하여 사용자가 쉽게 검토하고 활용할 수 있도록 합니다. 이 과정에서 LLM(대규모 언어모델)을 활용한 고급 병합 기능도 제공하며, LLM 없이 기본적인 텍스트 병합도 가능합니다. 실제 사례로 라시다 다티(Rachida Dati)의 영어 문서와 영어+프랑스어 병합 문서를 비교했을 때, 병합된 문서의 단어 수는 81%, 참고 자료 수는 292% 증가하는 등 정보의 양과 질이 크게 향상되는 것을 확인할 수 있었습니다.
위키퓨즈는 위키백과 사용자들에게 훨씬 더 풍부하고 신뢰할 수 있는 정보를 제공함으로써 검색 경험을 혁신할 잠재력을 가집니다. 특정 주제에 대해 한 가지 언어만으로는 얻기 어려웠던 심층적인 관점과 상세한 정보를 한눈에 볼 수 있게 해줍니다. 이는 특히 국제적인 인물이나 사건, 문화 등 다양한 언어권에서 다르게 조명될 수 있는 주제를 연구하거나 학습하는 사람들에게 매우 유용할 것입니다. 또한, 위키백과 편집자들에게는 다국어 문서의 내용을 비교하고 개선하는 데 필요한 귀중한 도구가 될 수 있으며, 궁극적으로 위키백과 전체의 정보 품질을 높이는 데 기여할 수 있습니다.