Beim Abspielen lädt der YouTube-Player über youtube-nocookie.com; dabei werden Daten an Google übertragen. Datenschutz
Low-Latency Strix Halo Cluster with RDMA (RoCE/Intel E810) and vLLM, Framework Desktop Boards
Donato Capitella · Messung · Profi
Kurz gesagt
Donato Capitella baut einen Cluster aus Strix-Halo-Rechnern (Framework-Desktop-Boards) mit schneller RDMA-Vernetzung und vLLM. Es geht um geringe Latenz beim verteilten Ausführen großer Modelle. Interessant für Bastler, die mehrere Rechner koppeln wollen.
Das lernst du
- Strix-Halo-Cluster mit RDMA-Vernetzung
- vLLM als Software für verteilte Inferenz
- Geringe Latenz als Ziel des Aufbaus
Warum es für lokale KI zählt
Es zeigt, wie mehrere Strix-Halo-Systeme als kostengünstiger lokaler Cluster für schnelle LLM-Inferenz mit vLLM skaliert werden können.
Hardware: Multi-GPU, etwa 128 GB VRAM.
Was dazu gesagt wurde
„Yesterday had benchmark's using 2 linked Strix Halo using BF16 across multiple models showing great perf and scaling using vLLM.“
Reddit · 2026
Woher die Empfehlung kommt
2 Personen haben dieses Video 2× empfohlen, in 2 verschiedenen Monaten, in r/LocalLLaMA.
Hardware & Beschaffung Runtimes & Backends Benchmarks & Messungen