Beim Abspielen lädt der YouTube-Player über youtube-nocookie.com; dabei werden Daten an Google übertragen. Datenschutz
100M+ Tokens/Day on My Home AI Server (Dual RTX 6000 Pros + vLLM + Agents)
Mukul Tripathi · Vorführung · Profi
Kurz gesagt
Mukul Tripathi berichtet, wie sein Heimserver mit zwei RTX 6000 Pro, vLLM und Agenten täglich über 100 Millionen Token verarbeitet. Das Video richtet sich an Fortgeschrittene, die leistungsfähige Heimserver betreiben wollen.
Das lernst du
- Heimserver mit zwei RTX 6000 Pro
- vLLM und Agenten im Dauerbetrieb
- Über 100 Millionen Token pro Tag laut Titel
Warum es für lokale KI zählt
Es demonstriert, dass ein lokaler Multi-GPU-Server mit vLLM als gemeinsame interne Plattform realistisch große Agenten-Workloads bewältigen kann.
Hardware: Multi-GPU, etwa 192 GB VRAM, Modell mit 230 Mrd. Parametern.
Was dazu gesagt wurde
„Yes, it’s feasible for a team to replace Claude Code with a “local” alternative… definitive yes.“
Reddit · 2026
Woher die Empfehlung kommt
2 Personen haben dieses Video 2× empfohlen, in 1 verschiedenen Monaten, in r/LocalLLaMA.
Hardware & Beschaffung Runtimes & Backends Lokale Agenten & Tooling