Beim Abspielen lädt der YouTube-Player über youtube-nocookie.com; dabei werden Daten an Google übertragen. Datenschutz
I Decoupled Attention from Weights - Gemma 4 26B
Chris Hay · Vortrag · Profi
Kurz gesagt
Chris Hay beschäftigt sich im Video mit dem Entkoppeln der Attention von den Gewichten, am Beispiel von Gemma 4 26B. Ein Kommentar nennt es als interessantes Video für alle, die mit Experimenten an besseren lokalen Modellen arbeiten wollen. Geeignet für Technikinteressierte, die Modellarchitektur verstehen möchten.
Das lernst du
- Idee der entkoppelten Attention kennenlernen
- Bezug zu Gemma 4 26B
- Anregung für eigene Experimente mit lokalen Modellen
Warum es für lokale KI zählt
Neue Architektur-Ideen könnten lokale Modelle verbessern.
Hardware: unbekannt, Modell mit 26 Mrd. Parametern.
Was dazu gesagt wurde
„I always look forward to the next step/evolution in technology so that way we can get better local models.“
Reddit · 2026
Woher die Empfehlung kommt
1 Person hat dieses Video 1× empfohlen, in 1 verschiedenen Monaten, in r/LocalLLaMA.