29GB RAM에서 Kimi K3를 0.50 tok/s로 실행하기

- WASTE는 2.78조 파라미터의 완전한 Kimi K3 오픈 가중치 모델을 축소 없이 982GiB 컨테이너로 변환해 소비자용 노트북에서 실행하는 C 기반 추론 엔진임 - 모델의 상주 트렁크만 메모리에 두고 토큰마다 활성화되는 약 4%의 전문가 가중치를 NVMe에서 읽으며, 남은 RAM은 크기가 제한된 전문가 캐시로 사용함 - Kimi K3는 4K 컨텍스...