Kimi K3 아키텍처 개요와 설계 노트

- 지난해 공개된 Kimi Linear를 48B에서 2.8T로 확장한 프로덕션 모델로, 현재 공개 가중치 모델 가운데 규모가 가장 큼 - 새로 도입한 LatentMoE는 대형 선형 계층을 다운 프로젝션해 압축하고, 전체 구조는 일반 MoE와 어텐션을 추론 효율 중심 구성요소로 대체함 - 어텐션 잔차(attention residuals) 는 계층 간 잔차를 ...