Beim Abspielen lädt der YouTube-Player über youtube-nocookie.com; dabei werden Daten an Google übertragen. Datenschutz
JETSON AI LAB | Interactive Voice Chat with Llama-2-70B on NVIDIA Jetson
Dustin Franklin · Vorführung · Fortgeschritten
Kurz gesagt
Das Video zeigt einen interaktiven Sprachchat mit dem Modell Llama-2-70B auf einem NVIDIA Jetson. Offenbar kommt dafür eine Kette aus Spracherkennung und Sprachausgabe zum Einsatz. Interessant für alle, die einen sprechenden lokalen Assistenten auf Embedded-Hardware aufbauen möchten.
Das lernst du
- Sprachdialog mit einem großen Modell auf Jetson-Hardware
- Zusammenspiel von Spracherkennung, Sprachmodell und Sprachausgabe
- Anregung für lokale Sprachassistenten auf Embedded-Geräten
Warum es für lokale KI zählt
Es ist relevant für lokale KI, weil es zeigt, wie ein großes 70B-Modell plus Sprachinterface auf einem kompakten, lokal betriebenen Jetson-System laufen kann.
Hardware: unbekannt, etwa 64 GB VRAM, Modell mit 70 Mrd. Parametern.
Was dazu gesagt wurde
„They seem to have a full stt-tts setup. The thing I'd investigate first is whether the tps in llama.cpp is still around that range, as I want the x2 bonus for medusa and speculative sampling that llama.cpp intends to support.“
Reddit · 2023
Woher die Empfehlung kommt
1 Person hat dieses Video 1× empfohlen, in 1 verschiedenen Monaten, in r/LocalLLaMA.