Beim Abspielen lädt der YouTube-Player über youtube-nocookie.com; dabei werden Daten an Google übertragen. Datenschutz
ktransformers troll rig deepseek r1 671B in the wild
Empty Duck · Vorführung · Profi
Kurz gesagt
Das Video zeigt einen Aufbau, auf dem DeepSeek R1 mit 671 Milliarden Parametern über ktransformers läuft. Kommentare gehen auf Arbeitsspeicher, Bandbreite und Alternativen wie ik_llama.cpp ein. Interessant für Bastler, die sehr große Modelle auf Consumer-Hardware ausführen wollen.
Das lernst du
- DeepSeek R1 mit 671B auf einem Eigenbau
- ktransformers als Laufzeit
- Rolle von Speicherbandbreite bei großen Modellen
Warum es für lokale KI zählt
Es ist ein anschauliches Beispiel dafür, wie ein sehr großes MoE-Modell mit CPU-/RAM-Offloading statt reinem GPU-VRAM lokal betrieben werden kann.
Hardware: Consumer-GPU, etwa 24 GB VRAM, Modell mit 671 Mrd. Parametern.
Was dazu gesagt wurde
„at least the weights are not swapping off of your ssd via mmap()“
Reddit · 2025
Woher die Empfehlung kommt
1 Person hat dieses Video 1× empfohlen, in 1 verschiedenen Monaten, in r/LocalLLaMA.
Hardware & Beschaffung Runtimes & Backends Modelle & Auswahl