HiveMind in wenigen Minuten auf Windows oder Linux zum Laufen bringen.
| Komponente | Minimum | Empfohlen |
|---|---|---|
| Betriebssystem | Windows 10 64-bit / Ubuntu 20.04 | Windows 11 / Ubuntu 22.04+ |
| Python | 3.11 | 3.12+ |
| RAM | 8 GB | 16–32 GB |
| GPU (VRAM) | — (CPU möglich) | NVIDIA 8 GB+ (CUDA 12) |
| Speicher | 10 GB frei | 50+ GB (Modelle) |
| CPU | x86-64 mit AVX | Modern i7/Ryzen 5+ |
Ein Betrieb ohne dedizierte GPU ist möglich, aber deutlich langsamer. Auf CPU kann eine Antwort 20–120 Sekunden dauern, je nach Modellgröße.
Der einfachste Weg auf Windows:
Lade die neueste Version von der Download-Seite herunter und entpacke das ZIP-Archiv in einen Ordner deiner Wahl, z.B. C:\HiveMind\.
Führe install-windows.bat als Administrator aus. Das Skript installiert automatisch alle Python-Abhängigkeiten und richtet die virtuelle Umgebung ein.
:: Rechtsklick → "Als Administrator ausführen"
install-windows.bat
Das Installer-Skript fragt, ob es automatisch ein passendes Modell herunterladen soll. Empfohlen: Qwen2.5-7B-Instruct-Q4_K_M (~4.5 GB).
Öffne config.yaml in einem Texteditor und passe mindestens das Dashboard-Passwort an.
Doppelklick auf start.bat — das Dashboard öffnet sich automatisch im Browser unter http://127.0.0.1:8420/.
Für erfahrene Nutzer, die die Kontrolle behalten möchten:
# 1. Python 3.12 installieren (python.org)
# 2. ZIP entpacken und in den Ordner navigieren
cd C:\HiveMind
# 3. Virtuelle Umgebung erstellen
python -m venv .venv
.venv\Scripts\activate
# 4. Abhängigkeiten installieren
pip install -e .
# 5. CUDA-Version von llama-cpp-python (für NVIDIA GPU)
pip install llama-cpp-python --extra-index-url https://abetlen.github.io/llama-cpp-python/whl/cu124
# 6. Starten
python -m hivemind
# Voraussetzungen (Ubuntu/Debian)
sudo apt update && sudo apt install python3.12 python3.12-venv git -y
# Repository / Archiv entpacken
unzip hivemind-1.2.2.zip -d ~/hivemind
cd ~/hivemind
# Installer ausführen
chmod +x install.py
python3 install.py
# ODER manuell:
python3 -m venv .venv
source .venv/bin/activate
pip install -e .
# Mit CUDA (NVIDIA)
CMAKE_ARGS="-DGGML_CUDA=on" pip install llama-cpp-python
# Starten
python3 -m hivemind
macOS: Funktioniert experimentell mit Metal-Beschleunigung (Apple Silicon). Setze CMAKE_ARGS="-DGGML_METAL=on" beim llama-cpp-python-Install.
HiveMind benötigt ein GGUF-Modell. Empfehlungen nach Vram:
| Modell | Quantisierung | VRAM / RAM | Qualität |
|---|---|---|---|
| Qwen2.5-7B-Instruct | Q4_K_M | ~5 GB | ⭐⭐⭐⭐ Empfohlen |
| Qwen2.5-7B-Instruct | Q8_0 | ~8 GB | ⭐⭐⭐⭐⭐ Beste Qualität |
| Qwen2.5-3B-Instruct | Q4_K_M | ~2.5 GB | ⭐⭐⭐ Für schwache Hardware |
| Llama-3.1-8B-Instruct | Q4_K_M | ~5 GB | ⭐⭐⭐⭐ Alternative |
Modelle können von Hugging Face heruntergeladen werden. Lege die Datei in den Ordner models/ und trage den Dateinamen in die config.yaml ein.
Die zentrale Konfigurationsdatei ist config.yaml im HiveMind-Ordner:
model:
path: "models/qwen2.5-7b-instruct-q4_k_m.gguf"
context_length: 16384 # Max. Kontext in Token
gpu_layers: 35 # Auf GPU auslagern (0 = CPU-only)
threads: 8 # CPU-Threads
ui:
port: 8420
password: "aender-mich"
api:
key: "dein-geheimer-api-key"
network:
enabled: true
port: 9420
bootstrap_nodes:
- "relay1.hivemind.network:9420"
telegram:
enabled: false
token: ""
allowed_users: []
assistant:
name: "HiveMind"
language: "de"
Beim ersten Start:
http://127.0.0.1:8420config.yaml gesetzte Passwort verwendenWenn im Dashboard unter Status "GPU: aktiv" und "VRAM: X GB" angezeigt wird, ist die GPU-Beschleunigung aktiv.
# PowerShell als Administrator:
$action = New-ScheduledTaskAction -Execute "C:\HiveMind\start.bat"
$trigger = New-ScheduledTaskTrigger -AtLogOn
Register-ScheduledTask -TaskName "HiveMind" -Action $action -Trigger $trigger -RunLevel Highest
# /etc/systemd/system/hivemind.service
[Unit]
Description=HiveMind AI Node
After=network.target
[Service]
User=DEIN_USER
WorkingDirectory=/home/DEIN_USER/hivemind
ExecStart=/home/DEIN_USER/hivemind/.venv/bin/python -m hivemind
Restart=on-failure
[Install]
WantedBy=multi-user.target
# Aktivieren:
sudo systemctl enable --now hivemind
Beim Update die Konfigurationsdatei und den models/-Ordner sichern, dann:
config.yaml und models/ aus alter Installation kopierenpip install -e .Prüfe, ob die CUDA-Version von llama-cpp-python installiert ist:
python -c "from llama_cpp import Llama; print('OK')"
Falls Fehler: CUDA-Toolkit 12 installieren und llama-cpp-python neu bauen (mit CMAKE_ARGS="-DGGML_CUDA=on").
config.yaml → anderen Port wählenconfig.yaml korrekt? (Backslash auf Windows vs. Slash)sha256sum prüfen)gpu_layers: 99 (alles auf GPU)context_length: 4096