리눅스(Linux)의 Btrfs 및 XFS 파일 시스템에서 중복 데이터를 효율적으로 제거해 저장 공간을 확보하는 새로운 도구 'Oans'가 공개되었습니다. 기존의 'duperemove' 프로젝트를 기반으로 개발된 Oans는 중복 제거 과정에서 최대 10배에 달하는 속도 향상을 달성하며, 특히 대규모 데이터 환경에서 반복적인 중복 제거 작업의 효율성을 크게 높였습니다.
Oans의 핵심적인 속도 개선 비결은 커널의 FIDEDUPERANGE ioctl을 통해 데이터를 중복 제거하기 전에 페이지 캐시(page cache)에 데이터를 미리 읽어 들이는 '프리페치(prefetch)' 전략에 있습니다. 이 간단한 최적화만으로도 엄청난 성능 향상을 가져왔습니다. 또한, Oans는 이미 해시(hash)되거나 공유된 파일은 건너뛰어 재스캔 시간을 대폭 단축하며, 설정 파일을 해시 파일에 저장해 재실행 시 별도의 옵션 없이도 증분(incremental) 방식으로 작동하도록 설계되었습니다. 시스템d(systemd) 연동을 통해 주간 단위 자동 실행 및 모니터링 기능도 제공하여 NAS, 백업 서버, 빌드 서버 등에서 '설정 후 잊어버리는(set-and-forget)' 방식으로 편리하게 사용할 수 있습니다.
이러한 Oans의 등장은 대용량 데이터를 다루는 개인 사용자나 소규모 팀에게 매우 유용할 것으로 보입니다. 저장 공간 비용을 절감하고 데이터 관리 효율성을 높이는 데 기여할 수 있기 때문입니다. 특히, 미디어 파일, 가상 머신 이미지, 백업 데이터 등 중복이 많은 환경에서 Oans는 디스크 공간을 효과적으로 재확보하고 시스템 성능을 최적화하는 데 중요한 역할을 할 수 있습니다. 데이터 증가 속도가 빠른 현대 컴퓨팅 환경에서 Oans와 같은 효율적인 중복 제거 솔루션은 스토리지 인프라 관리의 필수 요소로 자리매김할 것입니다.