Beim Abspielen lädt der YouTube-Player über youtube-nocookie.com; dabei werden Daten an Google übertragen. Datenschutz
Expensive RTX 5090 for LLMs? NO. Use This Instead. (Tesla V100 SXM2 + Z8 G4, #RACERRRZ)
RACERRRZ · Test · Fortgeschritten
Kurz gesagt
Das Video stellt eine ältere Server-Grafikkarte, die Tesla V100 im SXM2-Format, in einem Z8-G4-System als Alternative zur teuren RTX 5090 für lokale Sprachmodelle vor. Passend für alle, die günstige Hardware für LLMs suchen. Ein Kommentar ergänzt, dass auch gebrauchte Karten mit 24 GB Videospeicher für mittelgroße Modelle taugen.
Das lernst du
- Günstigere Hardware-Alternative zur RTX 5090
- Tesla V100 SXM2 im Z8-G4-Aufbau
- Hardwarewahl für lokale LLMs abwägen
Warum es für lokale KI zählt
Gebrauchte Rechenkarten können die Kosten für lokale Inferenz senken.
Hardware: Workstation, etwa 32 GB VRAM, Modell mit 27 Mrd. Parametern.
Was dazu gesagt wurde
„4 bit fits on a 24gb vram card decently well“
Reddit · 2026
Woher die Empfehlung kommt
1 Person hat dieses Video 1× empfohlen, in 1 verschiedenen Monaten, in r/LocalLLaMA.