ended8월 12일· 1 sources

Apple Silicon macOS VM에서 llama.cpp LLM 추론 가속하기

Why it matters

- Apple Virtualization.framework 의 가상 GPU가 보수적인 Metal 기능을 보고해 llama.cpp가 느린 커널을 선택하던 문제를, 게스트 프로세스 한정 호환성 계층으로 우회해 최대 16.36배 가속함 - 호환성 계층은 supportsFamily: 응답을 Apple family 9까지 허용하고 최대 threadgroup 메모리를...

1
Sources
+0
24h
Growth
40d
Active

Sources

Related Issues