이더리움(Ethereum) 블록 데이터를 효율적으로 압축하는 새로운 방식인 '뉴롭 인코딩 프로토콜(NEP: Neurop Encoding Protocol)'이 공개되었습니다. 이 프로토콜은 기존 ZSTD 압축 방식보다 12~21% 더 높은 압축률을 달성하며, 이더리움 JSON-RPC 데이터 전송 및 저장 비용을 획기적으로 줄일 수 있는 잠재력을 보여주었습니다. NEP는 단순히 압축 알고리즘이 아니라, 이더리움의 방대한 JSON 데이터를 압축하기 전에 최적화된 바이너리 형식으로 변환하는 전처리(transform) 계층입니다.
NEP는 이더리움 메인넷(mainnet) 블록 데이터를 실시간으로 가져와 테스트했으며, 모든 출력 데이터가 손실 없이 복원됨을 검증했습니다. 이 프로토콜은 헥스(Hex) 값을 바이너리로 변환하여 JSON 크기를 절반으로 줄이고, 반복되는 JSON 키를 2바이트 ID로 대체하여 블록 JSON의 약 30%를 제거합니다. 또한, 자주 사용되는 주소(address)를 한 번만 저장하고 2바이트 인덱스로 참조하는 주소 중복 제거(address deduplication)와 숫자 필드를 원시 정수(raw integers)로 저장하는 델타 인코딩(delta encoding)을 적용합니다. 이러한 4단계 변환을 거치면 압축 전 데이터 크기가 원본 JSON의 약 46% 수준으로 줄어듭니다.
현재 이더리움 체인 크기가 약 800TB에 달하는 상황에서, NEP는 ZSTD 단독 사용 시보다 약 14TB의 추가 저장 공간을 절약할 수 있습니다. 이는 객체 스토리지 비용으로 환산하면 약 28만 달러(약 3억 8천만원)에 달하는 비용 절감 효과를 가져오며, RPC 응답 시 발생하는 대역폭(bandwidth) 비용 절감은 별도입니다. 이더리움 체인이 하루 약 80GB씩 성장하고 있음을 고려할 때, NEP와 같은 효율적인 데이터 처리 기술은 노드 운영자, 블록체인 인프라 제공업체, 그리고 대규모 이더리움 데이터를 다루는 개발자들에게 필수적인 요소가 될 것입니다.