Beim Abspielen lädt der YouTube-Player über youtube-nocookie.com; dabei werden Daten an Google übertragen. Datenschutz
High-Speed Llama 4 Maverick: 45 Tokens/sec on 1 × RTX 4090 & Intel AMX Local LLM
Mukul Tripathi · Messung · Profi
Kurz gesagt
Mukul Tripathi zeigt laut Titel, wie Llama 4 Maverick mit einer RTX 4090 und Intel AMX lokal sehr schnell läuft. Das Video eignet sich für alle, die große Modelle mit einer einzelnen Grafikkarte und passender CPU betreiben möchten.
Das lernst du
- Llama 4 Maverick auf einer RTX 4090 betreiben
- Rolle von Intel AMX für lokale Modelle kennenlernen
- Geschwindigkeitsangaben aus der Praxis nachvollziehen
Warum es für lokale KI zählt
Zeigt, wie ein großes MoE-Modell mit CPU-Offload auf einer Consumer-Karte läuft.
Hardware: Consumer-GPU, etwa 24 GB VRAM.
Was dazu gesagt wurde
„After the following setup, makes no sense to me to buy 32GB VRAM for €2200.“
Reddit · 2025
Woher die Empfehlung kommt
1 Person hat dieses Video 1× empfohlen, in 1 verschiedenen Monaten, in r/LocalLLaMA.
Hardware & Beschaffung Benchmarks & Messungen Runtimes & Backends