Beim Abspielen lädt der YouTube-Player über youtube-nocookie.com; dabei werden Daten an Google übertragen. Datenschutz
3090 vs 4090 Local AI Server LLM Inference Speed Comparison on Ollama
Digital Spaceport · Messung · Fortgeschritten
Kurz gesagt
Digital Spaceport vergleicht die Geschwindigkeit der Inferenz mit Ollama auf RTX 3090 und RTX 4090. Ein Kommentar ergänzt Werte von einer anderen Karte. Für Leute, die zwischen den beiden Grafikkarten abwägen.
Das lernst du
- RTX 3090 und 4090 im Vergleich
- Inferenzgeschwindigkeit mit Ollama
- Hilfe bei der Kartenwahl
Warum es für lokale KI zählt
Es hilft bei der Wahl der GPU für lokale Modelle.
Hardware: Consumer-GPU, etwa 24 GB VRAM.
Was dazu gesagt wurde
„llama.cpp is around 27t/s.“
Reddit · 2024
Woher die Empfehlung kommt
1 Person hat dieses Video 1× empfohlen, in 1 verschiedenen Monaten, in r/LocalLLaMA.
Benchmarks & Messungen Hardware & Beschaffung Runtimes & Backends