Custom server Tesla K80 running an LLM

derduff · Vorführung · Fortgeschritten

Kurz gesagt

Der Kanal derduff zeigt einen selbst gebauten Server mit Tesla K80, auf dem ein Sprachmodell läuft. Das Video passt zu Bastlern, die ältere Rechenkarten für lokale KI nutzen wollen. Konkrete Ergebnisse nennen die Angaben nicht.

Das lernst du

• Selbstbau-Server mit Tesla K80
• Sprachmodell auf älterer Hardware
• Anregung für günstige Setups

Warum es für lokale KI zählt

Es zeigt, wie sich ein LLM mit gebrauchter Workstation-/Multi-GPU-Hardware lokal betreiben lässt, inklusive der Performance- und Stromprobleme.

Hardware: Multi-GPU, etwa 24 GB VRAM.

Was dazu gesagt wurde

„I just can say that I ran a huge model distributed over 4 K80s using llama.cpp. It works flawlessly but it is slow.“

Reddit · 2023

Woher die Empfehlung kommt

1 Person hat dieses Video 1× empfohlen, in 1 verschiedenen Monaten, in r/LocalLLaMA.

Hardware & Beschaffung Runtimes & Backends Betrieb & Deployment