PC Build: Run Deepseek-V3-0324:671b-Q8 Locally 6-8 tok/s

createthis · Messung · Profi

Kurz gesagt

Das Video zeigt einen PC-Build, mit dem DeepSeek-V3-0324 in der 671b-Q8-Variante lokal läuft; genannt werden 6 bis 8 tok/s. Zum Einsatz kommen unter anderem ein MZ73-LM0, zwei EPYC 9355, 768 GB Speicher und eine Blackwell 6000 Pro. Laut Kommentar wird später das Netzteil auf 1500 W aufgerüstet. Es richtet sich an Interessierte, die ein großes Modell lokal betreiben und den Hardwareaufbau nachvollziehen wollen.

Das lernst du

• DeepSeek-V3-0324 671b-Q8 läuft lokal mit 6 bis 8 tok/s.
• Genannte Hardware umfasst MZ73-LM0, zwei EPYC 9355 und 768 GB Speicher.
• Das Netzteil wird später auf 1500 W aufgerüstet.

Warum es für lokale KI zählt

Es zeigt, wie ein großer 671B-MoE-Modell dank CPU-/RAM-basierter Inferenz ohne riesige GPU-Cluster lokal betrieben werden kann.

Hardware: nur CPU, etwa 700 GB VRAM, Modell mit 671 Mrd. Parametern.

Was dazu gesagt wurde

„Short answer: MZ73-LM0, 2x EPYC 9355, 768gb 5600 MT/s rdimms, 990 pro“

Reddit · 2025

Woher die Empfehlung kommt

1 Person hat dieses Video 5× empfohlen, in 2 verschiedenen Monaten, in r/LocalLLaMA.

Hardware & Beschaffung Modelle & Auswahl Benchmarks & Messungen