ended8월 5일· 1 sources
단일 AMD MI300X에서 DeepSeek V4 Flash 실행하기
Why it matters
- 304B 매개변수의 DeepSeek-V4-Flash-0731을 추가 가중치 양자화나 오프로딩 없이 단일 AMD MI300X에서 프로덕션 운영하기 위한 구성과 패치를 제공함 - MI300X의 192GB HBM3에 156.67GiB 가중치와 20GB GPU KV 캐시를 배치하고, 퇴거된 프리픽스 캐시는 96GiB CPU 계층에 저장함 - 고정된 vLLM R...
1
Sources
+0
24h
—
Growth
47d
Active