Beim Abspielen lädt der YouTube-Player über youtube-nocookie.com; dabei werden Daten an Google übertragen. Datenschutz
Building a Two-Node AMD Strix Halo Cluster for LLMs with llama.cpp RPC (MiniMax-M2 & GLM 4.6)
Donato Capitella · Vorführung · Profi
Kurz gesagt
Donato Capitella koppelt zwei AMD-Strix-Halo-Rechner zu einem Cluster und führt darauf mit llama.cpp RPC große Modelle wie MiniMax-M2 und GLM 4.6 aus. Interessant für alle, die Hardware kombinieren wollen, um größere Modelle zu betreiben.
Das lernst du
- Zwei Strix-Halo-Rechner arbeiten als Cluster
- llama.cpp RPC verteilt die Last
- MiniMax-M2 und GLM 4.6 als Beispielmodelle
Warum es für lokale KI zählt
Es ist relevant für lokale KI, weil es zeigt, wie man mit zwei vergleichsweise günstigen Strix-Halo-Systemen und llama.cpp RPC sehr große Modelle lokal über Unified Memory ausführen kann.
Hardware: Multi-GPU, etwa 256 GB VRAM.
Was dazu gesagt wurde
„I think 2x Strix Halo is even better than 1x RTX 6000 (and about half the price, besides 256GB versus 96GB), see for example where he combines two of them and runs 200GB+ models.“
Reddit · 2025
Woher die Empfehlung kommt
2 Personen haben dieses Video 2× empfohlen, in 2 verschiedenen Monaten, in r/LocalLLaMA.
Hardware & Beschaffung Runtimes & Backends Modelle & Auswahl