최근 발표된 연구에서 '국소 선형 트랜스포머(LLT: Local Linear Transformer)'라는 새로운 인공지능 모델이 편미분 방정식(PDE: Partial Differential Equation) 연산자 학습 분야에 중요한 진전을 가져왔습니다. PDE 연산자 학습은 복잡한 물리 현상을 시뮬레이션하고 예측하는 데 필수적인 기술로, 공학 및 과학 분야에서 광범위하게 활용됩니다. 기존의 신경망 연산자(Neural Operators)는 PDE 해법을 학습하고 수치 시뮬레이션을 가속화하는 데 유용했지만, 특히 트랜스포머(Transformer) 기반 모델은 계산 노드 수에 따라 비용이 제곱으로 증가하고 지역적 상호작용에 대한 명시적인 편향이 부족하다는 한계가 있었습니다.
LLT는 이러한 문제를 해결하기 위해 선형 전역 어텐션(linear global attention)과 국소 공간 혼합(local spatial mixing)을 결합한 아키텍처를 제안합니다. 여기에 좌표 및 기하학적 정보까지 통합하여 모델의 효율성과 정확성을 높였습니다. 연구팀은 LLT를 탄성(elasticity), 소성(plasticity), 에어포일(airfoil) 및 파이프(pipe) 유동, 다르시 유동(Darcy flow) 등 다양한 PDE 문제에 적용하여 성능을 평가했습니다. 그 결과, LLT는 기존 신경망 연산자 및 트랜스포머 기반 모델 대비 경쟁력 있거나 더 낮은 상대 L2 오차를 달성했으며, 특히 훈련 반복당 벽시계 시간(wall-clock time)을 1.8배에서 2.5배까지 단축시키는 효율성을 보였습니다. 또한, 3만 개 이상의 비정형 메시(unstructured mesh) 포인트를 가진 3D 자동차 공기역학 데이터셋에도 성공적으로 적용되어 대규모 문제 해결 능력도 입증했습니다.
이러한 LLT의 등장은 복잡한 물리 시뮬레이션 분야에 큰 영향을 미칠 것으로 예상됩니다. 계산 효율성과 정확성 향상은 항공우주, 자동차 설계, 기후 모델링, 재료 과학 등 다양한 산업에서 제품 개발 주기 단축과 비용 절감에 기여할 수 있습니다. 특히, 대규모의 복잡한 시스템을 시뮬레이션해야 하는 연구자나 엔지니어에게 LLT는 기존 방식의 한계를 뛰어넘는 강력한 도구가 될 것입니다. 이는 궁극적으로 더 빠르고 정확한 예측을 통해 혁신적인 기술 개발을 가속화하는 기반이 될 것입니다.