1T params on CPU: Kimi-K2.5 at 13 tok/s (EPYC 9175F Zen 5 + 768GB RAM)

ksh3 · Messung · Profi

Kurz gesagt

Das Video von ksh3 zeigt, wie das Modell Kimi-K2.5 mit einer Billion Parametern allein auf der CPU läuft. Genannt wird eine Konfiguration mit EPYC 9175F und 768 GB RAM. Es richtet sich an Leute mit Interesse an CPU-Inferenz großer Modelle.

Das lernst du

• Billionen-Modell ohne GPU
• Hardware: EPYC 9175F und 768 GB RAM
• Tempo laut Titel: 13 Token pro Sekunde

Warum es für lokale KI zählt

Zeigt, dass riesige MoE-Modelle auch ohne GPU nutzbar sind, wenn viel schneller Speicher vorhanden ist.

Hardware: nur CPU, Modell mit 1000 Mrd. Parametern.

Was dazu gesagt wurde

„I use a single-socket EPYC 9175F.“

Reddit · 2026

Woher die Empfehlung kommt

1 Person hat dieses Video 1× empfohlen, in 1 verschiedenen Monaten, in r/LocalLLaMA.

Hardware & Beschaffung Benchmarks & Messungen Modelle & Auswahl