Beim Abspielen lädt der YouTube-Player über youtube-nocookie.com; dabei werden Daten an Google übertragen. Datenschutz
Reverse-engineering GGUF | Post-Training Quantization
Julia Turc · Erklärung · Profi
Kurz gesagt
Das Video behandelt GGUF und Post-Training-Quantisierung. Es geht um die Frage, wie sich Quantisierungsformate und -methoden vergleichen lassen, wobei dtype allein dafür nicht ausreicht. Für Interessierte an lokaler KI, die GGUF-Dateien und Quantisierungsansätze besser einordnen wollen.
Das lernst du
- GGUF und Post-Training-Quantisierung werden betrachtet.
- Dtype allein reicht für Vergleiche nicht aus.
- Quantisierungsmethoden unterscheiden sich und sind schwer vergleichbar.
Warum es für lokale KI zählt
GGUF und Quantisierung sind zentrale Bausteine, um große Sprachmodelle auf lokaler Hardware effizient laufen zu lassen.
Hardware: unbekannt.
Was dazu gesagt wurde
„llama.cpp has their own custom quantization methods. ik_llama has even more exotic methods.“
Reddit · 2025
Woher die Empfehlung kommt
5 Personen haben dieses Video 5× empfohlen, in 4 verschiedenen Monaten, in r/LocalLLaMA.
Quantisierung & Formate Runtimes & Backends Modelle & Auswahl