Epyc Build for local LLM

Jonathan Yankovich · Vorführung · Fortgeschritten

Kurz gesagt

Jonathan Yankovich zeigt einen Rechnerbau auf Basis eines Epyc-Prozessors für lokale Sprachmodelle. Das Video eignet sich für Zuschauer, die über einen eigenen Server für große Modelle nachdenken. Genauere Teile und Preise lassen sich aus dem Titel nicht ablesen.

Das lernst du

• Epyc-Plattform für lokale LLMs
• Hardware-Zusammenstellung im Überblick
• Anregung für einen eigenen Build

Warum es für lokale KI zählt

Er zeigt, wie man mit bezahlbarer Workstation-Hardware genug VRAM für größere lokale Modelle bereitstellt.

Hardware: Multi-GPU, etwa 96 GB VRAM.

Was dazu gesagt wurde

„TLDW: 96GB VRAM, less than $4000“

Reddit · 2023

Woher die Empfehlung kommt

1 Person hat dieses Video 1× empfohlen, in 1 verschiedenen Monaten, in r/LocalLLaMA.

Hardware & Beschaffung Kosten & Wirtschaftlichkeit Betrieb & Deployment