Benchmarks & Messungen

Worum es bei Benchmarks & Messungen geht

Benchmarks und Messungen helfen einzuschätzen, wie schnell und wie gut ein lokales Modell auf einem bestimmten System läuft. Typische Kennzahlen sind Tokens pro Sekunde beim Erzeugen von Text, die Zeit bis zur ersten Ausgabe und der Durchsatz bei mehreren gleichzeitigen Anfragen. In dieser Kategorie findest Du Tests von Mini-PCs, Workstations, Grafikkarten und Clustern sowie Vergleiche von Programmen und Beschleunigungsverfahren wie Multi-Token-Prediction. Einsteiger sollten Zahlen immer im Zusammenhang lesen: Dasselbe Gerät kann je nach Modell, Quantisierung, Kontextlänge, Programm und Treiber sehr unterschiedlich abschneiden. Ein Wert aus einem Video ist daher nur dann auf Deine Lage übertragbar, wenn diese Rahmenbedingungen ähnlich sind. Achte außerdem darauf, ob ein Test unabhängig durchgeführt wurde, ob Geräte vom Hersteller gestellt wurden und wie oft die Messung wiederholt wurde. Hohe Geschwindigkeit sagt zudem nichts über die Qualität der Antworten, und umgekehrt. Die Videos zeigen Messaufbauten, Ergebnisse und die Gründe für überraschende Abweichungen, etwa wenn eine einzelne Einstellung das Ergebnis stark verändert. Da Software laufend verbessert wird, können ältere Messwerte heute überholt sein.