데이터 분석가들에게 익숙한 파이썬 라이브러리 판다스(Pandas)가 느리다는 이유만으로 스파크(Spark) 같은 복잡한 분산 쿼리 시스템으로 바로 넘어갈 필요가 없다는 주장이 제기되었습니다. 약 100GB 미만의 중간 규모 데이터 작업은 폴라스(Polars)와 덕DB(DuckDB)와 같은 고성능 단일 머신 도구로 충분히 처리할 수 있으며, 이들이 판다스의 한계와 분산 시스템 사이의 공백을 효과적으로 메울 수 있다는 분석입니다.
실제로 아마존 레드쉬프트(Amazon Redshift)의 운영 통계를 분석한 결과, 대부분의 테이블(94.68%)이 100GB 미만이고, 쿼리(86.9%)는 80GB 이하의 데이터를 다루는 것으로 추산되었습니다. 10억 행 CSV 벤치마크에서는 판다스가 4분 28초가 걸린 반면, 폴라스는 5.04초, 덕DB는 5.19초 만에 작업을 완료하며 압도적인 성능 차이를 보였습니다. 메모리 사용량 또한 폴라스는 판다스의 절반 수준, 덕DB는 19분의 1 수준으로 크게 절감되었습니다. 이러한 성능 향상은 폴라스와 덕DB가 지연 평가(lazy evaluation), 자동 멀티스레딩, 청크(chunk) 단위 처리 등 데이터베이스 분야의 최적화 기법을 활용하기 때문입니다.
이러한 결과는 많은 데이터 분석 작업이 실제로 '빅데이터'가 아니라 '중간 규모 데이터(Medium Data)'에 해당하며, 과도한 분산 시스템 도입 없이도 효율적인 처리가 가능하다는 점을 시사합니다. 특히 아파치 애로우(Apache Arrow)를 활용하면 판다스, 폴라스, 덕DB 간에 메모리 복사 없이 데이터를 주고받을 수 있어, 기존 판다스 코드를 완전히 재작성하지 않고도 점진적으로 새로운 도구를 도입하고 성능을 개선할 수 있습니다. 이는 개발자들이 더 적은 비용과 복잡성으로 데이터 처리 효율을 높일 수 있는 중요한 기회가 될 것입니다.