금융 트레이딩 기업 제인 스트리트(Jane Street)가 주최한 ASIC(주문형 반도체) 리버스 엔지니어링 챌린지가 한 참가자에 의해 성공적으로 해결되었습니다. 이 챌린지는 칩의 물리적 배치 정보가 담긴 GDS(Graphic Database System) 파일만을 이용해 칩이 어떤 기능을 하는지 알아내고, 특정 120비트 입력에 대한 숨겨진 정답 메시지(* TWO STARS *)를 찾아내는 고난도 문제였습니다. 참가자는 기존 칩 설계 도구 대신 직접 개발한 시뮬레이터와 하드웨어 기술 언어 파서, 검증 도구 등을 활용하여 이 복잡한 퍼즐을 풀어냈습니다.
챌린지 해결 과정은 크게 세 단계로 진행되었습니다. 먼저, GDS 파일과 SKY130 표준 셀 문서를 활용해 칩 내부의 도형, 레이어, 핀을 식별하고, 인접한 배선을 그래프로 연결하여 시뮬레이션 가능한 Verilog(베릴로그) 회로로 변환했습니다. 이 과정에서 파이썬(Python) 라이브러리인 gdstk를 사용해 입출력 레이블을 식별하고, 약 1만 개의 부품과 81종의 셀로 구성된 회로의 논리적 연결을 재구성했습니다. 특히, 모든 입력을 일일이 시험하는 대신, 출력 조건을 역방향으로 추적하여 Z3 제약 해결기에 수천 개의 제약 조건으로 전달하는 혁신적인 접근 방식을 사용했습니다. 이 과정에서 참가자는 실제 ASIC 연결 오류까지 발견하여 제인 스트리트로부터 확인을 받는 등 뛰어난 분석 능력을 보여주었습니다.
이번 챌린지 성공은 단순히 퍼즐을 푸는 것을 넘어, 복잡한 하드웨어 시스템의 내부 동작을 심층적으로 이해하고 분석하는 역량의 중요성을 보여줍니다. 특히, 제한된 정보만으로 칩의 기능을 역설계하고, 심지어 실제 설계 오류까지 찾아내는 능력은 하드웨어 보안, 지적재산권(IP) 보호, 그리고 레거시 시스템 분석 등 다양한 분야에서 활용될 수 있습니다. 또한, 기존 도구에 얽매이지 않고 문제 해결에 필요한 맞춤형 도구를 직접 개발하는 접근 방식은 기술적 난관에 부딪혔을 때 새로운 해결책을 모색하는 데 중요한 시사점을 제공합니다. 이러한 역량은 미래 기술 개발과 보안 강화에 필수적인 요소로 평가됩니다.