Beim Abspielen lädt der YouTube-Player über youtube-nocookie.com; dabei werden Daten an Google übertragen. Datenschutz
GPT-OSS-20b Missile Defense at 10k t/s
Dbl Spc · Vorführung · Fortgeschritten
Kurz gesagt
Das Video zeigt eine Demo, in der GPT-OSS-20b über vLLM mit hohem Durchsatz und niedriger Latenz läuft. Das Modell steuert darin eine Anti-Missile-Anlage beziehungsweise ein Asteroiden-Szenario und gibt Befehle aus. Es eignet sich für alle, die lokale KI, schnelle Inferenz und viele parallele Agenten interessant finden.
Das lernst du
- GPT-OSS-20b läuft mit vLLM sehr schnell, auch auf einer 4090.
- Viele parallele Agenten können Befehle an einen Server senden.
- Das Modell eignet sich für schnelle Entscheidungen in kleinen Demos.
Warum es für lokale KI zählt
Es demonstriert, wie ein 20B-Modell mit vLLM auf einer Consumer-GPU lokal mit sehr hoher Token-Rate und niedriger Latenz laufen kann.
Hardware: Consumer-GPU, etwa 24 GB VRAM, Modell mit 20 Mrd. Parametern.
Was dazu gesagt wurde
„Yeah, lots of us messed with this, like... here was 11 months ago when I was basically doing 'jev' with gpt-oss-20b and forcing it to fly asteroids:“
Reddit · 2026
Woher die Empfehlung kommt
2 Personen haben dieses Video 3× empfohlen, in 3 verschiedenen Monaten, in r/LocalLLaMA.
Modelle & Auswahl Runtimes & Backends Benchmarks & Messungen