Fine-Tuning & LoRA lokal
19 Videos, sortiert nach Empfehlungen.
- Fine-Tuning & LoRA lokalHow to finetune your own Alpaca 7BSam Witteveen · 2 Empfehlungen
- Fine-Tuning & LoRA lokal[Full Workshop] Reinforcement Learning, Kernels, Reasoning, Quantization & Agents — Daniel HanAI Engineer · 2 Empfehlungen
- Fine-Tuning & LoRA lokalPEFT LoRA Finetuning With Oobabooga! How To Configure Other Models Than Alpaca/LLaMA Step-By-Step.AemonAlgiz · 1 Empfehlung
- Fine-Tuning & LoRA lokalHow to make a custom dataset like Alpaca7BSam Witteveen · 1 Empfehlung
- Fine-Tuning & LoRA lokalHow To Fine-Tune the Alpaca Model For Any Language | ChatGPT AlternativeMartin Thissen · 1 Empfehlung
- Fine-Tuning & LoRA lokalHow to Create Custom Datasets To Train Llama-2Prompt Engineering · 1 Empfehlung
- Fine-Tuning & LoRA lokalLLAMA-2 🦙: EASIET WAY To FINE-TUNE ON YOUR DATA 🙌Prompt Engineering · 1 Empfehlung
- Fine-Tuning & LoRA lokalFine-Tune Language Models with LoRA! OobaBooga Walkthrough and Explanation.AemonAlgiz · 1 Empfehlung
- Fine-Tuning & LoRA lokalEASY Fine-tuning of Code LLMs with Refact AI Coding Assistant (Next.js + Prismic example)Refact ai · 1 Empfehlung
- Fine-Tuning & LoRA lokalCrea tu Propia IA Personalizada GRATIS en 5 Minutos (El Método FÁCIL)Joaquín Ruiz — IA para Desarrolladores · 1 Empfehlung
- Modelle & AuswahlBuilding with Open ModelsOpenAI · 1 Empfehlung
- Fine-Tuning & LoRA lokalFine-Tuning LLM on Your Data using Single GPU | Sentiment Analysis for Cryptocurrency TweetsVenelin Valkov · 1 Empfehlung
- Fine-Tuning & LoRA lokalIs MLX the best Fine Tuning Framework?Matt Williams · 1 Empfehlung
- Quantisierung & FormateTraining models with only 4 bits | Fully-Quantized TrainingJulia Turc · 1 Empfehlung
- Fine-Tuning & LoRA lokalFine-Tuning Local LLMs with Unsloth & OllamaNeuralNine · 1 Empfehlung
- Multimodal lokalLitterBug: Training and Autopilot TestingSalma VonSchoeneck · 1 Empfehlung
- Fine-Tuning & LoRA lokalWhat We Didn't Cover | Build Your Own LLM Workshop #23Justin Angel · 1 Empfehlung
- Fine-Tuning & LoRA lokalUnsloth Studio is insane… fine-tune any AI model locallyDavid Ondrej · 1 Empfehlung
- Fine-Tuning & LoRA lokalEASIEST Way to Fine-Tune LLAMA-3.2 and Run it in OllamaPrompt Engineering · 1 Empfehlung
Ausrüstung zum Thema
- Grafikkarte 24 GBWerbelink
- Arbeitsspeicher DDR5 64 GBWerbelink
- NVMe-SSD 2 TBWerbelink
- Buch Deep LearningWerbelink
- Netzteil 1000 WattWerbelink
Als Amazon-Partner verdient die Ranaro GmbH an qualifizierten Verkäufen. Die Links führen zu Suchergebnissen bei Amazon; für dich ändert sich der Preis nicht.
Worum es bei Fine-Tuning & LoRA lokal geht
Beim Fine-Tuning wird ein bereits trainiertes Sprachmodell mit eigenen Daten weiter angepasst, damit es einen bestimmten Stil, ein Fachgebiet oder eine Aufgabe besser beherrscht. Mit Verfahren wie LoRA und QLoRA müssen dafür nicht alle Gewichte verändert werden, sondern nur kleine Zusatzmodule, wodurch das Training auch auf einer einzelnen Grafikkarte möglich wird. In dieser Kategorie findest Du Anleitungen mit Werkzeugen wie Oobabooga, Unsloth, Ollama oder MLX, Beispiele zum Erstellen eigener Datensätze und Einblicke in neuere Trainingsmethoden. Einsteiger sollten wissen: Die Qualität der Trainingsdaten ist meist wichtiger als die Menge, und nicht jedes Ziel erfordert überhaupt ein Training. Oft genügen eine gute Anweisung oder eine Dokumentensuche mit RAG. Beachte außerdem die Lizenz des Ausgangsmodells und die Rechte an Deinen Daten, besonders wenn personenbezogene oder urheberrechtlich geschützte Inhalte enthalten sind; bei Unsicherheit helfen Datenschutz- und Rechtsfachleute. Viele Videos stammen aus der Zeit der ersten Alpaca- und Llama-Modelle. Die Grundlagen gelten weiter, einzelne Programme und Versionen haben sich jedoch verändert, daher solltest Du Befehle vor dem Nachbauen mit der aktuellen Dokumentation abgleichen.
Häufige Fragen
Was ist LoRA?
LoRA ist ein Verfahren, bei dem nur kleine Zusatzgewichte trainiert werden, statt das ganze Modell zu verändern. Das spart Speicher und Zeit. Das Ergebnis lässt sich mit dem Ausgangsmodell zusammen einsetzen.
Brauche ich dafür eine starke Grafikkarte?
Mit LoRA und Quantisierung gelingt das Training oft schon auf einer einzelnen Grafikkarte, bei größeren Modellen wird der Bedarf aber hoch. Der Speicher der Karte ist meist der begrenzende Faktor. Die Videos zeigen Beispiele für verschiedene Setups.
Wie viele Daten brauche ich?
Das lässt sich nicht pauschal sagen und hängt von Ziel und Modell ab. Sauber aufbereitete, einheitliche Beispiele wirken oft besser als große, unordentliche Mengen. Teste zuerst mit einem kleinen Datensatz.
Wann ist Fine-Tuning nicht nötig?
Wenn es nur um aktuelles Wissen oder eigene Dokumente geht, reicht häufig eine Dokumentensuche mit RAG oder ein gut formulierter Prompt. Fine-Tuning lohnt sich eher bei festem Stil oder Format. Prüfe beides, bevor Du Zeit ins Training investierst.