Mach deinen Node zum Experten — mit LoRA-Feinabstimmung und Retrieval-Augmented Generation (RAG).
Retrieval-Augmented Generation — Das Modell bleibt unverändert. Beim Antworten wird passender Text aus deinen Dokumenten herausgesucht und als Kontext mitgegeben.
Gut für: Dokumente, Handbücher, Wissensdatenbanken, FAQ-Texte — alles, was du dem Modell "nachschlagen" lassen möchtest.
✅ Schnell einzurichten · Keine GPU nötig · Quellen sichtbar
Low-Rank Adaptation — Das Modell wird tatsächlich feinjustiert. Es lernt Schreibstil, Ton und domänenspezifisches Wissen dauerhaft.
Gut für: Stil-Anpassung, spezielles Vokabular, Verhalten des Assistenten, domänenspezifische Aufgaben.
⚠️ Braucht GPU · Dauert Stunden · Erfordert sorgfältiges Dataset
Für die meisten Anwendungsfälle reicht RAG vollkommen aus. LoRA-Training empfiehlt sich erst, wenn du wirklich das Verhalten oder Sprachgefühl des Modells dauerhaft ändern möchtest.
RAG ist out-of-the-box aktiv. Du musst nur Quellen hinzufügen. Das lokale Embedding-Modell wird automatisch beim ersten Dokument-Upload geladen.
# In config.yaml (optional anpassen):
rag:
enabled: true
embedding_model: "all-MiniLM-L6-v2" # Klein & schnell
chunk_size: 512 # Token pro Chunk
chunk_overlap: 64 # Überlappung
top_k: 5 # Anzahl der abgerufenen ChunksIm Dashboard: KI & Lernen → Training & RAG → Reiter "RAG-Wissensbasis".
Klicke auf "Dokument hinzufügen" und wähle eine Datei. Unterstützte Formate:
.pdf — PDFs werden automatisch per OCR geparst.txt, .md — Direkter Text-Import.docx — Word-DokumenteHiveMind splittet das Dokument in Chunks, erstellt Embeddings und speichert sie in der lokalen Vektordatenbank. Je nach Dateigröße dauert das wenige Sekunden bis Minuten.
Stelle sicher, dass der Toggle neben der Quelle auf aktiv steht (blau). Inaktive Quellen werden beim Antworten ignoriert.
Wechsle in den Chat und stelle eine Frage, die dein hochgeladenes Dokument beantwortet. In der Antwort sollte unten ein "Quellen"-Block erscheinen:
📚 Quellen:
• Handbuch.pdf (Seite 12): "Die Kalibrierung erfolgt..."
• Handbuch.pdf (Seite 34): "Fehlercode E04 bedeutet..."Falls keine Quellen erscheinen: Prüfe, ob RAG in den Chat-Einstellungen aktiviert ist (⚙️-Icon im Chat).
Ein LoRA-Dataset ist eine JSONL-Datei mit Trainingsbeispielen im Instruction-Format:
{"instruction": "Erkläre Photosynthese.", "input": "", "output": "Photosynthese ist der Prozess, bei dem Pflanzen..."}
{"instruction": "Wie lautet die Formel für Wasser?", "input": "", "output": "H₂O — zwei Wasserstoffatome und ein Sauerstoffatom."}
{"instruction": "Übersetze ins Englische:", "input": "Guten Morgen", "output": "Good morning"}
Richtlinien für ein gutes Dataset:
Dashboard: KI & Lernen → Training & RAG → Reiter "LoRA-Training".
Lade deine .jsonl-Datei hoch. HiveMind validiert automatisch das Format.
| Parameter | Standard | Erklärung |
|---|---|---|
| Lernrate | 2e-4 | Kleiner = langsamer aber stabiler |
| Epochen | 3 | Wie oft über das Dataset iteriert wird |
| LoRA Rank | 16 | Höher = mehr Kapazität, mehr VRAM |
| LoRA Alpha | 32 | Skalierungsfaktor (meist 2× Rank) |
| Batch-Größe | 4 | Kleiner bei wenig VRAM |
Klicke auf "Training starten". Der Fortschritt (Loss-Kurve, aktuelle Epoche) wird in Echtzeit angezeigt. Das Training läuft im Hintergrund — du kannst das Dashboard schließen.
Während des Trainings ist der Node für andere Anfragen verlangsamt oder nicht verfügbar. Plane das Training für Zeiten, wo du ihn nicht brauchst.
Nach dem Training erscheint der Adapter in der Adapter-Liste. Klicke auf "Aktivieren", um ihn zu laden. Du kannst jederzeit zwischen Adaptern und dem Basis-Modell wechseln.
HiveMind verfolgt automatisch, bei welchen Themen dein Node gute Antworten liefert. Über Zeit entwickelt er messbare Stärken. Die Spezialisierungs-Seite im Dashboard zeigt: