Beim Abspielen lädt der YouTube-Player über youtube-nocookie.com; dabei werden Daten an Google übertragen. Datenschutz
How Fast Can One RTX 3060 Actually Run 35B (llama.cpp enhancement)?
Codacus · Messung · Profi
Kurz gesagt
Codacus prüft, wie schnell eine einzelne RTX 3060 ein 35B-Modell mit einer llama.cpp-Erweiterung betreiben kann. Für Besitzer günstiger Grafikkarten.
Das lernst du
- Große Modelle auf RTX 3060
- Erweiterung für llama.cpp
- Tempo als Messgröße
Warum es für lokale KI zählt
Es zeigt, dass auch große Modelle auf günstiger Grafikkarte nutzbar werden können.
Hardware: Consumer-GPU, etwa 12 GB VRAM, Modell mit 35 Mrd. Parametern.
Was dazu gesagt wurde
„I swear I thought this was something that was already a part of llama.cpp but apparently not.“
Reddit · 2026
Woher die Empfehlung kommt
1 Person hat dieses Video 1× empfohlen, in 1 verschiedenen Monaten, in r/LocalLLaMA.
Runtimes & Backends Benchmarks & Messungen Hardware & Beschaffung