Runtimes & Backends

130 Videos, sortiert nach Empfehlungen.

Ausrüstung zum Thema

Als Amazon-Partner verdient die Ranaro GmbH an qualifizierten Verkäufen. Die Links führen zu Suchergebnissen bei Amazon; für dich ändert sich der Preis nicht.

Worum es bei Runtimes & Backends geht

Ein Sprachmodell ist zunächst nur eine große Datei. Erst eine Laufzeitumgebung, auch Runtime oder Backend genannt, lädt sie, verteilt die Rechenarbeit auf Prozessor und Grafikkarte und liefert die Antworten. In dieser Kategorie geht es um Programme wie llama.cpp, vLLM, Ollama, LM Studio und ktransformers sowie um die dazugehörigen Beschleunigungsschnittstellen wie CUDA, ROCm oder Apples Metal. Jede Lösung setzt andere Schwerpunkte: Manche sind für den einfachen Start am Schreibtisch gedacht, andere für hohen Durchsatz bei vielen gleichzeitigen Anfragen oder für den Betrieb sehr großer Modelle mit Teilen im Arbeitsspeicher. Einsteiger sollten zuerst eine unkomplizierte Oberfläche ausprobieren und erst später zu spezialisierten Werkzeugen wechseln, wenn Geschwindigkeit oder Speicherbedarf zum Problem werden. Achte darauf, welches Dateiformat und welche Hardware ein Programm unterstützt, denn nicht jede Kombination funktioniert reibungslos. In den Videos findest Du Anleitungen zur Einrichtung, Vergleiche zwischen verschiedenen Backends, Berichte zu Optimierungen und Tests auf unterschiedlichen Systemen, etwa mit AMD-, NVIDIA- oder Apple-Hardware. Da sich diese Projekte schnell weiterentwickeln, solltest Du bei älteren Videos prüfen, ob Befehle und Einstellungen noch gelten.

Häufige Fragen

Was ist der Unterschied zwischen llama.cpp, Ollama und LM Studio?

llama.cpp ist die zugrunde liegende Laufzeit, die viele andere Programme nutzen. Ollama und LM Studio bauen darauf auf und bieten einfachere Bedienung, etwa über eine Oberfläche oder wenige Befehle. Für den Einstieg sind sie meist der bequemere Weg.

Wofür brauche ich vLLM?

vLLM zielt auf hohen Durchsatz und viele parallele Anfragen, etwa wenn mehrere Nutzer ein Modell gleichzeitig verwenden. Für den privaten Einzelbetrieb ist es oft nicht nötig. Die Einrichtung ist meist aufwendiger als bei einfachen Desktop-Programmen.

Was bedeuten CUDA und ROCm?

Das sind Schnittstellen, über die Programme die Grafikkarte zum Rechnen nutzen. CUDA gehört zu NVIDIA, ROCm zu AMD. Ob Deine Karte unterstützt wird, solltest Du vor dem Einrichten in der Dokumentation des jeweiligen Programms prüfen.

Kann ich ein Modell nutzen, das größer ist als mein Grafikspeicher?

Teilweise ja, denn manche Laufzeiten lagern Teile des Modells in den Arbeitsspeicher aus. Das Modell läuft dann in der Regel spürbar langsamer. Einige Videos zeigen, wie sich dabei die Geschwindigkeit optimieren lässt.