코그니션(Cognition)의 AI 에이전트 데빈(Devin)이 260자리 수 RSA-260을 성공적으로 소인수분해하며, RSA Factoring Challenge의 공개 최고 기록을 경신했습니다. 이는 새로운 수학적 알고리듬을 개발한 것이 아니라, 기존의 일반 수체 체(GNFS) 알고리듬 구현체인 CADO-NFS의 GPU 성능을 최적화하여 이뤄낸 성과입니다. 이번 최적화를 통해 소인수분해 비용을 기존 공개 최고 수준 대비 약 10분의 1로 낮추는 데 성공했습니다.
RSA-260 분해에는 약 4,900 GPU일(약 13.5 GPU년)에 해당하는 연산량이 소요되었으며, 이는 시장 가격으로 환산 시 약 40만 달러에 달하는 비용입니다. 하지만 코그니션은 다른 용도로 활용할 수 없는 유휴 GPU 자원을 활용하여 추가 한계비용 없이 작업을 실행했습니다. 데빈은 GPU용 다항식 선택, 격자 체질, 선형 시스템 풀이 등 파이프라인 전반에 걸쳐 CADO-NFS를 수정하고 최적화했습니다. 특히 격자 체질(lattice sieving) 단계에서 GPU의 높은 메모리 대역폭을 활용하는 데 집중했으며, 이 과정에서 사람의 목표 설정과 벤치마크 체계 구축이 에이전트의 성과를 이끌어내는 데 중요한 역할을 했습니다.
이번 RSA-260 소인수분해 기록 경신은 암호학적 안정성에 즉각적인 위협이 되지는 않습니다. 현재 널리 사용되는 RSA 공개키는 2048비트(약 617자리)로, 이는 RSA-260보다 약 912억 배 더 어려운 것으로 추정됩니다. 하지만 이번 성과는 AI 에이전트가 복잡한 시스템의 성능 엔지니어링과 최적화 작업을 자율적으로 수행할 수 있는 잠재력을 보여줍니다. 이는 전용 하드웨어 없이도 충분한 GPU 자원을 가진 주체나 비암호학자도 암호학 연구 및 최적화에 참여할 수 있는 문턱을 낮출 수 있음을 시사합니다.