AI 칩 선두 기업 세레브라스(Cerebras)가 직원들의 반복적인 정보 탐색 부담을 줄이고 업무 효율을 높이기 위해 혁신적인 사내 지식 베이스 시스템 'Cerebras Knowledge'를 구축했습니다. 이 시스템은 슬랙(Slack), 깃허브(GitHub) 코드 저장소, 내부 문서, 맞춤형 데이터베이스 등 기존에 정보가 생성되는 다양한 플랫폼에서 데이터를 직접 수집하여 통합 검색을 제공합니다. 모든 정보를 단일 플랫폼으로 강제 이동시키는 대신, 각 플랫폼의 특성을 존중하면서도 하나의 검색 인터페이스를 통해 모든 지식에 접근할 수 있도록 한 것이 핵심입니다.
Cerebras Knowledge는 출시 3개월 만에 직원, 자동화 시스템, AI 에이전트로부터 하루 15,000건 이상의 질문을 처리하며 그 유용성을 입증했습니다. 이 시스템은 데이터를 수집하고 저장하는 플랫폼, 저장된 데이터를 질의하는 플랫폼, 그리고 인증/권한 부여/감사/분석을 담당하는 세 계층으로 구성됩니다. 특히, 여러 출처의 임베딩(embedding), 원문 요약, 메타데이터를 저장하는 단일 포스트그레스(Postgres) 테이블을 중심으로 설계되어, 새로운 데이터 소스를 쉽게 추가하고 확장할 수 있습니다. 슬랙 검색의 경우, 단순 벡터 검색의 한계를 극복하기 위해 전문 검색, 임베딩 검색, 역문서 빈도(IDF), 시간 감쇠 등 다양한 검색 방식을 결합하여 정확도를 높였으며, 실시간 수집을 위해 슬랙 소켓 모드(Socket Mode)를 활용해 최신 정보를 즉시 반영합니다.
또한, 대규모 코드 저장소의 경우 오픈소스 문서 임베딩 프레임워크인 코코인덱스(CocoIndex)를 활용해 증분 임베딩을 구현, 변경된 코드 청크만 다시 임베딩함으로써 비용 효율성을 확보했습니다. 질의 처리 과정에서는 대규모 언어모델(LLM)이 먼저 질문에 가장 적합한 검색 도구와 데이터 소스를 결정하는 '계획' 단계를 거치고, 이를 병렬로 실행하여 결과를 통합합니다. 검색 결과는 상호 순위 융합(RRF)과 재순위화 모델을 통해 최적화되며, 사용자는 단순히 질문하고 답을 받지만 내부적으로는 복잡한 계획기-실행기-합성기 흐름이 작동합니다. 이처럼 Cerebras는 정보가 생성되는 곳에서 직접 수집하고, 다양한 검색 기술을 결합하며, LLM 기반의 지능형 질의 처리 방식을 도입하여 기업 데이터의 복잡성과 다양성을 효과적으로 관리하고 있습니다.
이러한 사내 지식 베이스 구축은 기업의 정보 접근성을 혁신하고, 특히 신규 입사자 온보딩이나 복잡한 프로젝트 진행 시 정보 탐색에 드는 시간과 노력을 크게 절감할 수 있다는 점에서 중요합니다. 정보가 파편화되어 여러 시스템에 흩어져 있는 현대 기업 환경에서, Cerebras의 접근 방식은 각 팀의 업무 방식을 존중하면서도 전체 조직의 지식을 통합하는 효과적인 모델을 제시합니다. 이는 단순한 검색 시스템을 넘어, 기업의 집단 지성을 효율적으로 활용하고 직원들의 생산성을 극대화하는 중요한 인프라가 될 것입니다.