Beim Abspielen lädt der YouTube-Player über youtube-nocookie.com; dabei werden Daten an Google übertragen. Datenschutz
Running a 35B AI Model on 6GB VRAM, FAST (llama.cpp Guide)
Codacus · Anleitung · Fortgeschritten
Kurz gesagt
Das Video zeigt, wie man mit llama.cpp ein 35B-Modell auch auf einer GPU mit 6 GB VRAM laufen lässt. Im Mittelpunkt steht ein MoE-Modell, bei dem nicht alle Gewichte im VRAM liegen müssen. Es richtet sich an Nutzer mit begrenztem Grafikspeicher; in den Kommentaren werden auch 12–16 GB VRAM und 16-GB-Laptops erwähnt.
Das lernst du
- 35B-Modell mit llama.cpp auf 6 GB VRAM starten
- MoE-Modelle müssen nicht vollständig im VRAM liegen
- Auch für Systeme mit 12–16 GB VRAM interessant
Warum es für lokale KI zählt
Es zeigt, dass große MoE-Modelle durch Auslagerung von Experten auf CPU/RAM auch auf schwacher Consumer-Hardware lokal nutzbar werden.
Hardware: Consumer-GPU, etwa 6 GB VRAM, Modell mit 35 Mrd. Parametern.
Was dazu gesagt wurde
„MOE models dont have to be all in VRAM“
Reddit · 2026
Woher die Empfehlung kommt
5 Personen haben dieses Video 8× empfohlen, in 5 verschiedenen Monaten, in r/LocalLLaMA und 2× auf Hacker News.
Hardware & Beschaffung Runtimes & Backends Quantisierung & Formate