ended7월 29일· 1 sources
Kimi Linear: 표현력과 효율을 높인 어텐션 아키텍처(2025)
Why it matters
- Kimi Linear는 KDA와 MLA를 3:1로 배치한 하이브리드 구조로, 동일한 학습 조건에서 전체 MLA보다 단기·장기 문맥과 강화학습 평가 전반에서 높은 성능을 기록함 - 핵심 모듈인 Kimi Delta Attention(KDA) 은 Gated DeltaNet의 헤드 단위 망각 게이트를 채널 단위로 세분화해, 유한한 RNN 메모리의 각 특성 차원...
1
Sources
+0
24h
—
Growth
8d
Active