ended7월 27일· 1 sources
8달러짜리 마이크로컨트롤러에서 2,890만 매개변수 LLM 실행하기
Why it matters
- ESP32-S3에서 서버 연결 없이 2,890만 매개변수 언어 모델을 구동해 작은 화면에 약 초당 9개 토큰으로 텍스트를 출력함 - 전체 매개변수 중 2,500만 개를 느린 플래시에 두고 토큰마다 필요한 약 6개 행, 450바이트만 읽는 Per-Layer Embeddings 구조를 사용함 - 모델은 4비트 기준 14.9MB이며, 512KB SRAM에는 ...
1
Sources
+0
24h
—
Growth
7d
Active