Speechless-Llama2-Hermes-Orca-Platypus-WizardLM-13B-GGU LLM model M2 Max 38-cores GPU, 64GB RAM

atpeaz · Vorführung · Fortgeschritten

Kurz gesagt

Der Kanal atpeaz lässt ein 13B-Modell auf einem Mac mit M2 Max, 38 GPU-Kernen und 64 GB Arbeitsspeicher laufen. Das Video eignet sich für Zuschauer, die die Leistung von Apple-Hardware bei lokalen Modellen einschätzen möchten. Messwerte lassen sich aus den Angaben nicht entnehmen.

Das lernst du

• 13B-Modell auf Mac M2 Max
• 64 GB Speicher und 38 GPU-Kerne
• Praxisblick auf Apple-Hardware

Warum es für lokale KI zählt

Es demonstriert, dass ein 13B-Modell lokal auf Apple-Silicon-Hardware ohne Cloud ausgeführt werden kann.

Hardware: Apple Silicon, etwa 64 GB VRAM, Modell mit 13 Mrd. Parametern.

Was dazu gesagt wurde

„Short answer is yes you can.“

Reddit · 2023

Woher die Empfehlung kommt

1 Person hat dieses Video 1× empfohlen, in 1 verschiedenen Monaten, in r/LocalLLaMA.

Hardware & Beschaffung Modelle & Auswahl Betrieb & Deployment