Beim Abspielen lädt der YouTube-Player über youtube-nocookie.com; dabei werden Daten an Google übertragen. Datenschutz
The New Way to Run 125B Models 6× Faster Than llama.cpp (Strata)
Kai · Erklärung · Profi
Kurz gesagt
Das Video stellt laut Titel Strata vor, einen Ansatz, mit dem sich Modelle der Größe 125B deutlich schneller als mit llama.cpp ausführen lassen sollen. Es richtet sich an Leute, die große Modelle lokal betreiben und sich für Geschwindigkeit und Speicherbedarf interessieren.
Das lernst du
- Strata als Alternative zu llama.cpp für große Modelle
- Im Titel genannter Tempogewinn: sechsfach bei 125B
- Interessant für alle, die große Modelle lokal laufen lassen
Warum es für lokale KI zählt
Für lokale KI ist es relevant, weil dadurch sehr große Modelle auf begrenzter Consumer-Hardware lauffähig und schneller nutzbar werden.
Hardware: Apple Silicon, etwa 64 GB VRAM, Modell mit 125 Mrd. Parametern.
Was dazu gesagt wurde
„it's much more efficient than loading entire models into vram of ram.“
Reddit · 2026
Woher die Empfehlung kommt
1 Person hat dieses Video 1× empfohlen, in 1 verschiedenen Monaten, in r/LocalLLaMA.
Runtimes & Backends Hardware & Beschaffung Benchmarks & Messungen