최근 연구에 따르면, 반도체 패키지의 열-기계적 신뢰성을 예측하는 데 재귀 트랜스포머(recursive transformer) 모델이 기존 방식보다 효율적이고 정확한 대안이 될 수 있다고 합니다. 공학 설계 분야에서는 값비싼 물리 기반 시뮬레이션을 대체하기 위해 트랜스포머 기반의 대리 모델(surrogate model) 사용이 늘고 있지만, 기존 트랜스포머는 소규모의 저차원 공학 데이터셋에 과도하게 많은 파라미터(over-parameterized)를 가져 과적합(overfitting) 문제를 일으키는 경향이 있었습니다. 이는 불필요한 메모리 및 연산 오버헤드를 유발하며 정확도 향상에도 기여하지 못했습니다.
이러한 문제 해결을 위해 연구팀은 추가적인 학습 가능한 파라미터보다는 연산 능력에 집중하는 아키텍처로의 전환을 제안했습니다. 특히, '재귀 트랜스포머' 패러다임 세 가지(Tiny Recursive Model, Depth Recursive transformer, Simple recursive transformer)를 고급 패키지의 열-기계 분석에 적용하여 하드웨어 관점에서 평가했습니다. 이들은 예측 성능(Recall, Mean Reciprocal Rank), 파라미터 수, 계산 복잡도(FLOPs)를 체계적으로 비교했으며, 그 결과 재귀 가중치 공유(recursive weight-sharing) 트랜스포머가 예측 정확도, 파라미터 효율성, 계산 비용 사이에서 효과적이고 일반화 가능한 균형점을 제공함을 확인했습니다. 이는 열 사이클링(thermal cycling)으로 인한 응력 및 변형(warpage)을 반복적으로 평가해야 하는 반도체 패키지의 열-기계 신뢰성 분석과 같은 저차원 공학 예측 작업에서 특히 유용합니다.
이번 연구는 자원 제약이 있는 시나리오에서 재귀 트랜스포머 아키텍처를 선택하기 위한 실용적인 설계 가이드라인을 제공합니다. 고비용의 유한요소해석(FEA) 시뮬레이션에 의존하던 반도체 설계 및 검증 과정에서, 적은 데이터로도 높은 효율성과 정확성을 보이는 재귀 트랜스포머는 개발 시간과 비용을 크게 절감할 수 있는 잠재력을 가집니다. 이는 반도체 산업뿐만 아니라 유사한 공학 설계 문제에 직면한 다양한 분야에서 AI 기반 대리 모델의 활용을 가속화할 중요한 진전으로 평가됩니다.