Beim Abspielen lädt der YouTube-Player über youtube-nocookie.com; dabei werden Daten an Google übertragen. Datenschutz
Ultimate Linux AI Server Setup for 4x NVIDIA 3090 GPU Rig | CUDA 12.5, OLLAMA Server, & More
Mukul Tripathi · Anleitung · Fortgeschritten
Kurz gesagt
Mukul Tripathi richtet einen Linux-Server mit vier NVIDIA-3090-Grafikkarten für KI ein. Laut Titel gehören CUDA 12.5 und ein Ollama-Server dazu. Das Video eignet sich für Bastler, die ein Mehr-GPU-System selbst aufsetzen wollen.
Das lernst du
- Linux-Server mit vier RTX 3090
- CUDA 12.5 einrichten
- Ollama als Server betreiben
Warum es für lokale KI zählt
Es ist relevant für lokale KI, weil es zeigt, wie man mit mehreren Consumer-GPUs und OLLAMA größere Modelle lokal betreibt.
Hardware: Multi-GPU, etwa 96 GB VRAM, Modell mit 70 Mrd. Parametern.
Was dazu gesagt wurde
„Yes of course! You can add as many cards! Here is how to do that.“
Reddit · 2025
Woher die Empfehlung kommt
1 Person hat dieses Video 2× empfohlen, in 1 verschiedenen Monaten, in r/LocalLLaMA.
Hardware & Beschaffung Runtimes & Backends Betrieb & Deployment