최근 대규모 언어모델(LLM)의 아키텍처는 빠르게 진화하며 복잡해지고 있습니다. 이러한 변화 속에서 개발자들이 다양한 LLM의 내부 구조를 쉽게 이해하고 비교할 수 있도록 돕는 PyTorch(파이토치) 구현 모음 'OpenArch(오픈아크)'가 공개되어 주목받고 있습니다.
OpenArch는 GPT-2 XL, Llama 3(라마 3), DeepSeek R1(딥시크 R1), Qwen 3(큐웬 3), Kimi K2(키미 K2) 등 여러 텍스트 모델과 멀티모달 모델 PaliGemma(팔리젬마)의 핵심 아키텍처를 처음부터 직접 구현한 저장소입니다. 이 프로젝트는 성능보다는 가독성과 학습을 최우선으로 하여, 각 아키텍처를 읽기 쉬운 단일 파일로 제공합니다. 이를 통해 어텐션 유형(MHA, GQA, MQA 등), 정규화(RMSNorm, QK-Norm 등), 위치 인코딩(RoPE, NoPE 등), 디코더 유형(밀집형, 희소 MoE 등)과 같은 구조적 선택들을 나란히 비교하며 학습할 수 있습니다. 현재 Sebastian Raschka(세바스찬 라슈카)의 'LLM Architecture Gallery(LLM 아키텍처 갤러리)'에 수록된 72개 아키텍처 전체 구현을 목표로 하며, 미구현 모델 추가, 구조 문서화, 공식 가중치를 이용한 출력 비교 테스트 등의 기여를 환영하고 있습니다.
이 프로젝트는 프로덕션 라이브러리를 대체하는 것이 목적이 아니며, 실제 서비스에는 공식 구현이나 Hugging Face(허깅페이스)의 Transformers(트랜스포머스) 라이브러리 사용을 권장합니다. LLM 아키텍처의 폭발적인 다양화로 인해 추론 엔진 구현이 더욱 복잡해지는 현 상황에서, OpenArch는 연구자와 개발자들이 LLM의 근본적인 설계 원리를 깊이 있게 탐구하고 이해하는 데 귀중한 교육 자료가 될 것입니다. 이는 단순히 모델을 사용하는 것을 넘어, 새로운 LLM을 설계하거나 기존 모델을 최적화하려는 이들에게 중요한 통찰력을 제공할 것으로 기대됩니다.