Beim Abspielen lädt der YouTube-Player über youtube-nocookie.com; dabei werden Daten an Google übertragen. Datenschutz
Private LLM with WizardLM 1.2 running on a M2 MacBook Air
Private LLM · Vorführung · Fortgeschritten
Kurz gesagt
Private LLM zeigt das Modell WizardLM 1.2 auf einem MacBook Air mit M2-Chip. Das Video richtet sich an Mac-Nutzer, die ein Sprachmodell direkt auf dem Laptop ausführen möchten. Der Kanal gehört zur gleichnamigen App.
Das lernst du
- WizardLM 1.2 läuft auf dem M2 MacBook Air
- Sprachmodell lokal auf dem Laptop
- Kanal wirbt für die eigene App
Warum es für lokale KI zählt
Es demonstriert, dass leistungsfähige LLMs ohne Cloud und ohne dedizierte GPU lokal auf einem Laptop laufen können.
Hardware: Apple Silicon, etwa 16 GB VRAM, Modell mit 13 Mrd. Parametern.
Was dazu gesagt wurde
„16GB laptops (M2 Macbook Air) can run 13B models with 4 bit quantization, reasonably well (~8 tokens/sec).“
Reddit · 2023
Woher die Empfehlung kommt
1 Person hat dieses Video 2× empfohlen, in 2 verschiedenen Monaten, in r/LocalLLaMA.
Hardware & Beschaffung Quantisierung & Formate Modelle & Auswahl