Beim Abspielen lädt der YouTube-Player über youtube-nocookie.com; dabei werden Daten an Google übertragen. Datenschutz
LocalAI LLM Testing: Llama 3.3 70B Q8, Multi GPU 6x A4500, and PCIe Bandwidth during inference
RoboTF AI · Messung · Profi
Kurz gesagt
RoboTF AI testet LocalAI mit Llama 3.3 70B in Q8 auf einem System mit sechs A4500-Karten. Zusätzlich wird die PCIe-Bandbreite während der Inferenz betrachtet. Interessant für Leute, die Multi-GPU-Aufbauten für große Modelle planen.
Das lernst du
- Llama 3.3 70B in Q8 mit LocalAI
- Multi-GPU-Setup mit sechs Karten
- PCIe-Bandbreite bei der Inferenz
Warum es für lokale KI zählt
Es zeigt, wie ein grosses Modell auf mehrere GPUs verteilt wird und wie wenig PCIe-Bandbreite dabei noetig ist.
Hardware: Multi-GPU, etwa 120 GB VRAM, Modell mit 70 Mrd. Parametern.
Was dazu gesagt wurde
„At least in his system it's virtually nothing compared to the bandwidth of the PCIe bus.“
Reddit · 2025
Woher die Empfehlung kommt
1 Person hat dieses Video 1× empfohlen, in 1 verschiedenen Monaten, in r/LocalLLaMA.
Hardware & Beschaffung Benchmarks & Messungen Quantisierung & Formate