Beim Abspielen lädt der YouTube-Player über youtube-nocookie.com; dabei werden Daten an Google übertragen. Datenschutz
koboldcpp runs LLaMA 65B ggml q4_0 using Apple MPS Inference
bebopkim · Messung · Profi
Kurz gesagt
Der Kanal bebopkim zeigt, wie koboldcpp das Modell LLaMA 65B im Format ggml q4_0 über Apple MPS ausführt. Das Video richtet sich an Mac-Nutzer, die große Modelle mit Apple-Grafikbeschleunigung testen wollen. Messwerte nennt der Titel nicht.
Das lernst du
- koboldcpp mit LLaMA 65B
- Ausführung über Apple MPS
- Test großer Modelle auf dem Mac
Warum es für lokale KI zählt
Es ist relevant für lokale KI, weil es demonstriert, wie ein sehr großes quantisiertes Modell ohne Cloud auf Apple-Hardware laufen kann.
Hardware: Apple Silicon, etwa 40 GB VRAM, Modell mit 65 Mrd. Parametern.
Was dazu gesagt wurde
„It looks like it veers between 1-2 t/s depending on the quantization size.“
Reddit · 2023
Woher die Empfehlung kommt
1 Person hat dieses Video 1× empfohlen, in 1 verschiedenen Monaten, in r/LocalLLaMA.
Hardware & Beschaffung Runtimes & Backends Quantisierung & Formate