Hardware & Beschaffung

182 Videos, sortiert nach Empfehlungen.

Ausrüstung zum Thema

Als Amazon-Partner verdient die Ranaro GmbH an qualifizierten Verkäufen. Die Links führen zu Suchergebnissen bei Amazon; für dich ändert sich der Preis nicht.

Worum es bei Hardware & Beschaffung geht

Wer Sprachmodelle lokal betreiben möchte, stößt schnell auf die Frage nach der passenden Hardware. In dieser Kategorie geht es um Grafikkarten, Mini-PCs mit gemeinsamem Speicher, Workstations, Mac-Systeme und selbst gebaute Rechner, auf denen KI-Modelle ohne Cloud laufen. Entscheidend ist meist nicht allein die Rechenleistung, sondern der verfügbare Speicher: Das Modell samt Kontext muss hineinpassen, und die Speicherbandbreite bestimmt wesentlich, wie flott Antworten erscheinen. Einsteiger sollten deshalb zuerst klären, welche Modellgröße sie nutzen wollen, und erst danach Gerät, Netzteil, Kühlung und Stromverbrauch betrachten. Auch der Softwarestand zählt: Nicht jede Karte und nicht jeder Chip wird von allen Programmen gleich gut unterstützt, vor allem bei AMD-Systemen lohnt ein Blick auf den aktuellen Treiberstand. In den Videos findest Du Praxisberichte zu Strix-Halo-Rechnern, DGX Spark, Framework Desktop und großen Workstation-Karten, Aufbauanleitungen für Eigenbau-Server sowie Vergleiche zwischen Systemen. Achte beim Anschauen darauf, welche Modelle, Quantisierungen und Programme jeweils verwendet wurden, denn nur dann lassen sich Messwerte sinnvoll einordnen. Bedenke außerdem, dass Hersteller und Testgeräte wechseln und ältere Videos nicht mehr den heutigen Stand abbilden müssen.

Häufige Fragen

Wie viel Grafikspeicher brauche ich für den Einstieg?

Das hängt von der Modellgröße und der Quantisierung ab. Kleinere Modelle laufen auf Karten mit wenig Speicher, größere benötigen deutlich mehr oder lagern Teile in den Arbeitsspeicher aus, was langsamer ist. Schau Dir in den Videos an, welche Kombination aus Modell und Hardware gezeigt wird.

Ist eine Grafikkarte zwingend nötig?

Nein, viele Modelle laufen auch auf dem Prozessor, allerdings meist deutlich langsamer. Systeme mit gemeinsamem Speicher, etwa bestimmte Mini-PCs oder Macs, sind eine Alternative zur klassischen Grafikkarte. Welche Lösung passt, hängt von Modellgröße und Deinen Ansprüchen an die Geschwindigkeit ab.

Worauf sollte ich vor dem Kauf achten?

Prüfe, ob die gewünschte Software Deine Hardware unterstützt, und plane Platz, Kühlung und Stromversorgung mit ein. Vergleiche Messwerte nur, wenn Modell, Quantisierung und Programm übereinstimmen. Unabhängige Tests sind aussagekräftiger als reine Herstellerangaben.

Lohnt sich ein Selbstbau gegenüber einem Fertiggerät?

Ein Selbstbau bietet Flexibilität und Erweiterbarkeit, verlangt aber Zeit und technisches Wissen. Fertige Geräte sind meist einfacher in Betrieb zu nehmen und oft kompakter. Die Videos zeigen beide Wege mit ihren jeweiligen Stärken und Schwächen.