OpenArch - 현대 LLM 아키텍처의 PyTorch 구현 모음

<ul> <li><strong>OpenArch</strong>는 현대 오픈소스 LLM 아키텍처를 처음부터 직접 구현한 PyTorch 학습용 저장소로, 아키텍처마다 읽기 쉬운 단일 파일을 제공함</li> <li><strong>가독성과 학습</strong>을 우선하며, 어텐션 유형, 정규화, 계층 구성, MoE 라우팅, 위치 인코딩 같은 구조적 선택을 나란히 ...