Beim Abspielen lädt der YouTube-Player über youtube-nocookie.com; dabei werden Daten an Google übertragen. Datenschutz
ktransformers: DeepSeek_V3_0324:671b-Q4_K_M - 14 tok/s - Open Hands AI 4K
createthis · Vorführung · Profi
Kurz gesagt
Das Video zeigt eine lokale Demo von Open Hands AI mit DeepSeek-V3-0324 (671b, Q4_K_M) über ktransformers, aufgenommen in 4K mit 14 tok/s. Es richtet sich an Interessierte, die lokale KI-Agenten und Inferenz auf eigener Hardware einordnen wollen. In den Angaben werden zudem Kosten und weitere Benchmarks erwähnt; ktransformers gilt dort als weniger stabil, llama.cpp als Alternative mit höherem VRAM-Bedarf.
Das lernst du
- Demo von Open Hands AI mit DeepSeek-V3-0324 über ktransformers
- Titel nennt 14 tok/s und 4K-Aufnahme
- Kommentar empfiehlt llama.cpp als stabilere Alternative mit mehr VRAM
Warum es für lokale KI zählt
Es demonstriert, dass ein 671B-Modell quantisiert und mit CPU/GPU-Offloading lokal für Agenten-Workflows nutzbar ist.
Hardware: Workstation, etwa 96 GB VRAM, Modell mit 671 Mrd. Parametern.
Was dazu gesagt wurde
„I don't use ktransformers anymore because it crashed frequently, but llama.cpp works the same. It's just more reliable, but requires a bit more VRAM.“
Reddit · 2025
Woher die Empfehlung kommt
2 Personen haben dieses Video 5× empfohlen, in 3 verschiedenen Monaten, in r/LocalLLaMA.
Runtimes & Backends Modelle & Auswahl Lokale Agenten & Tooling