Beim Abspielen lädt der YouTube-Player über youtube-nocookie.com; dabei werden Daten an Google übertragen. Datenschutz
Guanco 65 billion parameter model on M1 Ultra GPU
Lee Drake · Vorführung · Profi
Kurz gesagt
Lee Drake zeigt das Guanaco-Modell mit 65 Milliarden Parametern auf einer GPU des Apple M1 Ultra. Das Video eignet sich für Mac-Nutzer, die wissen wollen, ob große Modelle auf Apple-Hardware laufen. Konkrete Werte nennen die Angaben nicht.
Das lernst du
- Guanaco 65B auf Apple M1 Ultra
- Große Modelle auf dem Mac
- Praxisblick auf Apple-Hardware
Warum es für lokale KI zählt
Es zeigt, dass man große Modelle lokal auf Apple-Hardware statt teurer NVIDIA-Multi-GPU-Setups betreiben kann.
Hardware: Apple Silicon, etwa 128 GB VRAM, Modell mit 65 Mrd. Parametern.
Was dazu gesagt wurde
„As long as you don’t plan to train new models, you’ll be fine with Apple’s absurd VRAM on less capable GPUs.“
Reddit · 2023
Woher die Empfehlung kommt
1 Person hat dieses Video 1× empfohlen, in 1 verschiedenen Monaten, in r/LocalLLaMA.
Hardware & Beschaffung Modelle & Auswahl Betrieb & Deployment