AI 에이전트가 하드웨어 설계, 특히 가속기(accelerator) 최적화 분야에서 뛰어난 성과를 보인다는 보고가 늘고 있습니다. 하지만 이러한 성공이 AI가 컴퓨터 아키텍처를 진정으로 '이해'하고 설계하는 것인지, 아니면 단순히 주어진 매개변수 공간을 효율적으로 '탐색'하여 최적점을 찾는 것인지에 대한 근본적인 질문이 제기되었습니다. 이 두 가지 시나리오는 AI의 설계 능력이 다른 아키텍처로 전이될 수 있는지 여부를 결정하는 중요한 차이를 가집니다.
최근 발표된 '오토튜링(AutoTuring)' 연구는 이 질문에 답하기 위해 독특한 실험 설계를 도입했습니다. 연구팀은 동일한 AI 에이전트에게 15차원 가속기 설계 공간을 두 가지 방식으로 제시했습니다. 첫 번째는 '명명된 아키텍처 노브(named architectural knobs)'로, 각 변수에 의미 있는 이름과 시뮬레이터 카운터를 부여하여 AI가 그 의미를 파악할 수 있도록 했습니다. 두 번째는 '익명 변수(anonymous variables)'로, 각 변수를 단순히 0에서 1 사이의 숫자로만 제공하여 AI가 그 의미를 알 수 없도록 했습니다. 평가 환경, 유효한 공간, 도달 가능한 최적점은 모두 동일하게 유지하여, 오직 문제의 '의미' 유무만이 변수가 되도록 했습니다. FP16 GEMM(반정밀도 일반 행렬 곱셈) 벤치마크에서 9개 커널을 사용한 결과, 의미를 이해하는 에이전트(architect)는 의미를 모르는 에이전트(blind counterpart)보다 평균 12.3% 더 나은 성능을 보였고, 시뮬레이터 호출 횟수도 70.1% 적었습니다. 이는 AI가 아키텍처의 의미를 알 때 훨씬 효율적으로 설계할 수 있음을 시사합니다.
하지만 흥미롭게도, '비판 루프(critic loop)'를 추가하자 의미를 모르는 에이전트도 성능 격차의 대부분을 회복할 수 있었습니다. 비판 루프는 아키텍처 지식과 유사하게 작동하여, AI가 설계 공간을 더 효과적으로 탐색하도록 돕는 것으로 보입니다. 이는 아키텍처 지식과 구조화된 비판이 상호 보완적이라기보다는 대체재로 작용할 수 있음을 보여줍니다. 즉, AI가 설계의 의미를 직접적으로 이해하지 못하더라도, 효과적인 피드백 메커니즘을 통해 유사한 수준의 성능을 달성할 수 있다는 가능성을 제시합니다. 이 연구는 AI 에이전트의 하드웨어 설계 능력에 대한 이해를 심화시키고, 미래 AI 기반 설계 도구 개발에 중요한 통찰을 제공할 것입니다.