I built a private AI mini-cluster with Framework Desktop

Jeff Geerling · Messung · Fortgeschritten

Kurz gesagt

Jeff Geerling baut in dem Video einen privaten KI-Mini-Cluster mit Framework Desktop. Es geht um den Einsatz mehrerer Strix-Halo-Systeme für lokale KI und um die Frage, wie sinnvoll so ein Aufbau je nach Bedarf ist. Für Interessierte an lokaler KI-Hardware und Cluster-Lösungen ist das Video eine Einordnung, besonders wenn sie Framework Desktop oder mehrere Knoten erwägen.

Das lernst du

• Privater KI-Mini-Cluster mit Framework Desktop
• Mehrere Strix-Halo-Systeme werden betrachtet
• llama.cpp RPC unterstützt derzeit nur Layer-Split

Warum es für lokale KI zählt

Es zeigt, wie mehrere kompakte Rechner mit großer Unified-Memory als lokaler Cluster für private LLM-Inferenz genutzt werden können.

Hardware: Multi-GPU, etwa 128 GB VRAM, Modell mit 3 Mrd. Parametern.

Was dazu gesagt wurde

„one is fine, but depends from your needs watch this about more than one strix halo:“

Reddit · 2025

Woher die Empfehlung kommt

3 Personen haben dieses Video 3× empfohlen, in 3 verschiedenen Monaten, in r/LocalLLaMA.

Hardware & Beschaffung Betrieb & Deployment Benchmarks & Messungen