Beim Abspielen lädt der YouTube-Player über youtube-nocookie.com; dabei werden Daten an Google übertragen. Datenschutz
Running Qwen 3 2507 UD-Q3_K_XL on a Threadripper 3970X + 3x RTX 3090 Machine
Septerium · Vorführung · Profi
Kurz gesagt
Septerium lässt Qwen 3 2507 in der Quantisierung UD-Q3_K_XL auf einem Rechner mit Threadripper 3970X und drei RTX-3090-Karten laufen. Das Video richtet sich an Bastler mit Mehr-GPU-Aufbauten, die sehen wollen, was solche Hardware mit großen Modellen leistet.
Das lernst du
- Großes Qwen-Modell auf Mehr-GPU-Rechner betrachten
- Eindruck vom Zusammenspiel von CPU und drei Grafikkarten
- Anhaltspunkt für eigene Multi-GPU-Pläne
Warum es für lokale KI zählt
Es zeigt, wie sich ein großes MoE-Modell auf mehrere GPUs und CPU verteilen lässt.
Hardware: Multi-GPU, etwa 72 GB VRAM.
Was dazu gesagt wurde
„llama.cpp gives you more control over what is going to be offloaded to the CPU.“
Reddit · 2025
Woher die Empfehlung kommt
1 Person hat dieses Video 1× empfohlen, in 1 verschiedenen Monaten, in r/LocalLLaMA.
Hardware & Beschaffung Runtimes & Backends Quantisierung & Formate