Beim Abspielen lädt der YouTube-Player über youtube-nocookie.com; dabei werden Daten an Google übertragen. Datenschutz
Running vLLM on Strix Halo (AMD Ryzen AI MAX) + ROCm Performance Updates
Donato Capitella · Messung · Fortgeschritten
Kurz gesagt
Das Video behandelt den Betrieb von vLLM auf AMDs Strix-Halo-Plattform (Ryzen AI MAX) und ordnet aktuelle ROCm-Performance-Verbesserungen ein. In den Kommentaren wird empfohlen, ROCm nicht auf dem Host zu installieren, sondern Anwendungen wie llama.cpp in Docker zu betreiben; auch die Strix Halo Toolboxes werden erwähnt. Ein weiterer Hinweis betont, dass ein vLLM-Benchmark mit mehreren gleichzeitigen Anfragen arbeitet. Geeignet für Interessierte, die lokale KI auf AMD-Hardware ausprobieren oder vergleichen wollen.
Das lernst du
- vLLM auf AMD Strix Halo mit ROCm testen
- ROCm nicht auf dem Host installieren
- vLLM-Benchmark nutzt mehrere gleichzeitige Anfragen
Warum es für lokale KI zählt
Strix Halo bietet viel Unified Memory und eignet sich damit für lokale LLM-Inferenz ohne diskrete GPU, was vLLM als Serving-Runtime für Self-Hosting interessant macht.
Hardware: Consumer-GPU, etwa 128 GB VRAM.
Was dazu gesagt wurde
„I like the small form factor - because I easily can travel with that device an“
Reddit · 2025
Woher die Empfehlung kommt
3 Personen haben dieses Video 5× empfohlen, in 3 verschiedenen Monaten, in r/LocalLLaMA.
Hardware & Beschaffung Runtimes & Backends Benchmarks & Messungen