Beim Abspielen lädt der YouTube-Player über youtube-nocookie.com; dabei werden Daten an Google übertragen. Datenschutz
Oobabooga Running MPT-7B-Storywriter. Huge Context, Commercially Permissive License From Mosiacml
openerotica · Anleitung · Fortgeschritten
Kurz gesagt
openerotica zeigt, wie MPT-7B-Storywriter mit Oobabooga läuft. Das Modell bietet einen sehr großen Kontext und eine kommerziell erlaubte Lizenz. Für Einsteiger, die längere Texte lokal erzeugen wollen.
Das lernst du
- MPT-7B-Storywriter in Oobabooga einrichten
- Großer Kontext für lange Texte
- Lizenz erlaubt kommerzielle Nutzung
Warum es für lokale KI zählt
Es ist relevant für lokale KI, weil es praktisch erklärt, wie ein leistungsfähiges 7B-Modell lokal in Oobabooga mit GPTQ und Optimierungen betrieben werden kann.
Hardware: Consumer-GPU, etwa 8 GB VRAM, Modell mit 7 Mrd. Parametern.
Was dazu gesagt wurde
„I didn't include it in the video, but you can change your GPTQ branch to Triton and edit your modules/models.py for about 2-3x better speed.“
Reddit · 2023
Woher die Empfehlung kommt
1 Person hat dieses Video 2× empfohlen, in 1 verschiedenen Monaten, in r/LocalLLaMA.
Modelle & Auswahl Runtimes & Backends Quantisierung & Formate