Beim Abspielen lädt der YouTube-Player über youtube-nocookie.com; dabei werden Daten an Google übertragen. Datenschutz
Kimi-K2(1T)/GLM 4.7(355B) on a 4-Node Strix Halo Cluster - 512GB of Unified Memory
Donato Capitella · Messung · Profi
Kurz gesagt
Donato Capitella lässt große Modelle wie Kimi-K2 und GLM 4.7 auf einem Cluster aus vier Strix-Halo-Rechnern laufen. Zusammen bieten sie 512 GB gemeinsamen Speicher. Für Leser, die Heimcluster für Riesenmodelle planen.
Das lernst du
- Vier Strix-Halo-Knoten bilden einen Cluster
- 512 GB Speicher reichen für sehr große Modelle
- Kimi-K2 und GLM 4.7 dienen als Beispiele
Warum es für lokale KI zählt
Es zeigt, ob und wie sehr große MoE-Modelle mit viel Unified Memory auf einem bezahlbaren lokalen Cluster statt auf Cloud-GPUs betrieben werden können.
Hardware: Multi-GPU, etwa 512 GB VRAM, Modell mit 1000 Mrd. Parametern.
Was dazu gesagt wurde
„In theory a 4x Strix Halo setup could also work and would be a lot cheaper, see 4x Bosgame M5 would be 10k$. However I have no idea what the decoding speed would be.“
Reddit · 2026
Woher die Empfehlung kommt
2 Personen haben dieses Video 2× empfohlen, in 2 verschiedenen Monaten, in r/LocalLLaMA.
Hardware & Beschaffung Modelle & Auswahl Benchmarks & Messungen