ended8월 13일· 1 sources

llama.cpp: 내 컴퓨터에서 실행하는 오픈소스 AI

Why it matters

- llama.cpp는 API 키·텔레메트리·사용량 제한 없이 AI 모델을 실행하고, 모델과 대화 데이터를 컴퓨터 안에 유지하는 오픈소스 로컬 런타임임 - 개인용 노트북부터 클러스터까지 같은 바이너리와 모델을 사용하며, 여러 GPU·CPU 환경에 맞춘 수작업 최적화 커널을 제공함 llama serve 와 pi-llama 를 이용하면 Pi가 로컬 모델을 자동...

1
Sources
+0
24h
Growth
39d
Active

Sources

Related Issues