Aktualisiert März 2026 $0 API-Kosten

Dify GPU-Hosting-Anleitung 2026 — Lokale LLMs mit Dify ausführen

Hosten Sie Dify auf einem GPU-Server und verbinden Sie es mit Ollama oder LocalAI, um Llama 3, Mistral und andere Open-Source-Modelle lokal auszuführen — ohne Token-API-Kosten und mit vollständigem Datenschutz.

Warum Dify auf einem GPU-Server ausführen?

Die Verbindung von Dify mit einem lokal gehosteten LLM über Ollama oder LocalAI beseitigt vollständig die Abhängigkeit von Cloud-KI-Anbietern. Das gewinnen Sie dabei:

💰

Keine API-Kosten

Zahlen Sie nur für den GPU-Server — nicht pro Token. Hochvolumen-Nutzung wird dramatisch günstiger.

🔒

Datenschutz

Prompts und Antworten verlassen Ihre Infrastruktur nie — unerlässlich für regulierte Branchen.

🧩

Benutzerdefinierte Modelle

Fein abgestimmte oder domänenspezifische Modelle ausführen, die über keine öffentliche API verfügbar sind.

🚀

Keine Rate-Limits

So viele Anfragen wie Ihre GPU verarbeiten kann — kein Drosseln, keine Kontingentfehler.

GPU-Cloud-Anbieter im Vergleich

Preise sind ungefähre On-Demand-Raten Anfang 2026. Reservierte und Spot-Instanzen sind in der Regel günstiger.

Anbieter GPU VRAM Preis/Std. Beste Verwendung
Lambda Labs A10 24 GB $0,75/Std. Entwicklung
Vast.ai RTX 4090 24 GB ~$0,35/Std. Budget
RunPod A100 80 GB $1,99/Std. Produktion
CoreWeave H100 80 GB $2,50/Std. Enterprise
Hetzner GPU A100 80 GB 2,49 EUR/Std. EU-Compliance
1

CUDA und NVIDIA Container Toolkit installieren

Bevor Sie Dify oder Ollama installieren, benötigen Sie die NVIDIA-CUDA-Treiber und das Container Toolkit, damit Docker-Container auf die GPU zugreifen können.

CUDA Toolkit 12.3 installieren

GPU verifizieren und Docker konfigurieren

Nach der Ausführung von nvidia-smi sollten Sie Ihre GPU mit Treiberversion und VRAM aufgelistet sehen. Wenn Docker nun --gpus all verwenden kann, sind Sie für den nächsten Schritt bereit.

2

Ollama installieren und LLM-Modelle herunterladen

Ollama ist der einfachste Weg, Open-Source-LLMs auf Ihrer GPU zu betreiben. Es erkennt CUDA automatisch und verwendet die GPU für die Inferenz.

Ollama installieren und Modelle herunterladen

Ollama an alle Netzwerkinterfaces binden

Standardmäßig hört Ollama nur auf localhost. Um es von Difys Docker-Containern aus erreichbar zu machen, müssen Sie es an 0.0.0.0 binden:

docker-compose.override.yaml konfigurieren

Erstellen oder bearbeiten Sie docker-compose.override.yaml in Ihrem Dify-Verzeichnis, damit Container host.docker.internal auf dem Linux-Host-Computer auflösen können:

Hinweis: Auf macOS und Windows wird host.docker.internal automatisch aufgelöst. Auf Linux ist der obige extra_hosts-Eintrag erforderlich.

3

Dify mit Ollama verbinden

Mit laufendem und erreichbarem Ollama fügen Sie es als Modellanbieter in Dify hinzu:

  1. Öffnen Sie Ihre Dify-Instanz und klicken Sie auf Ihren Avatar in der oberen rechten Ecke.
  2. Gehen Sie zu Einstellungen dann Modellanbieter.
  3. Scrollen Sie nach unten, um Ollama zu finden, und klicken Sie auf Modell hinzufügen.
  4. Setzen Sie die Basis-URL auf http://host.docker.internal:11434.
  5. Geben Sie den Modellnamen genau so ein, wie er von ollama list aufgelistet wird (z.B. llama3.1:8b).
  6. Klicken Sie auf Speichern — Dify testet die Verbindung. Ein grünes Häkchen bestätigt den Erfolg.
  7. Das Modell ist jetzt in allen Ihren Dify-Apps und -Workflows verfügbar.

Tipp: Wiederholen Sie Schritt 5 für jedes heruntergeladene Modell. Sie können beliebig viele Ollama-Modelle hinzufügen — jedes erscheint als separates auswählbares Modell in Dify.

4

LocalAI — Eine OpenAI-kompatible Alternative

Wenn Sie eine OpenAI-kompatible API-Oberfläche bevorzugen, ist LocalAI eine ausgezeichnete Alternative zu Ollama. Es stellt Endpunkte wie /v1/chat/completions bereit, sodass Sie Difys vorhandene OpenAI-Integration ohne zusätzliche Konfiguration verwenden können.

LocalAI mit Docker ausführen (GPU)

Sobald es läuft, konfigurieren Sie Dify mit Modellanbieter: OpenAI-API-kompatibel, setzen Sie die Basis-URL auf http://host.docker.internal:8080/v1 und verwenden Sie jeden Modellnamen, den Sie in LocalAI geladen haben. Für lokale Deployments wird kein API-Key benötigt.

Modellempfehlungen nach Anwendungsfall

Wählen Sie Ihr Modell basierend auf verfügbarem VRAM und dem Qualitäts-Geschwindigkeits-Kompromiss, den Ihre Anwendung benötigt.

Modell Benötigtes VRAM Geschwindigkeit Beste Verwendung
llama3.1:8b ~6 GB Schnell Allzweck, Chat
mistral:7b ~5 GB Sehr schnell Geschwindigkeitskritische Apps
codellama:13b ~10 GB Mittel Code-Generierung
llama3.1:70b ~40 GB Langsam Hochwertige Ausgaben
mixtral:8x7b ~26 GB Mittel Ausgewogene Qualität/Geschwindigkeit

VRAM-Schnellreferenz

~6 GB
7B-Modelle
z.B. Llama 3.1 8B, Mistral 7B
~10 GB
13B-Modelle
z.B. CodeLlama 13B
~20 GB
34B-Modelle
z.B. CodeLlama 34B
~40 GB
70B-Modelle
z.B. Llama 3.1 70B

Dies sind ungefähre Anforderungen für Full-Precision-Inferenz (fp16). Quantisierte Modelle (Q4/Q5) können den VRAM-Bedarf um 30–50 % reduzieren, was es ermöglicht, größere Modelle auf kleineren GPUs auszuführen.

Verwandte Anleitungen

Häufige Fehler und wie man sie vermeidet

1. Falsche CUDA-Version installiert

Ein häufiger Fehler ist die Installation einer CUDA-Version, die nicht mit Ihrer GPU oder dem Dify-Setup kompatibel ist. Dies führt oft zu Fehlern wie:

CUDA error: invalid device function

Um dies zu vermeiden, überprüfen Sie die Kompatibilität der CUDA-Version mit Ihrer GPU und den Dify-Anforderungen.

2. Unzureichende GPU-Ressourcen

Wenn die GPU nicht genügend VRAM hat, um das Modell zu laden, erhalten Sie möglicherweise die Fehlermeldung:

Out of memory error

Stellen Sie sicher, dass Ihre GPU mindestens 16 GB VRAM hat, insbesondere für größere Modelle wie Llama 3.

3. Fehlerhafte Docker-Konfiguration

Eine fehlerhafte Docker-Konfiguration kann dazu führen, dass Dify nicht auf die GPU zugreifen kann. Typische Symptome sind:

Cannot connect to the Docker daemon

Überprüfen Sie, ob Docker korrekt installiert und der Dienst aktiv ist. Verwenden Sie den Befehl:

sudo systemctl status docker

4. Fehlende Umgebungsvariablen

Wenn Umgebungsvariablen nicht gesetzt sind, kann Dify nicht korrekt auf die GPU zugreifen. Überprüfen Sie, ob die Variablen CUDA_HOME und LD_LIBRARY_PATH gesetzt sind:

echo $CUDA_HOME

Setzen Sie sie gegebenenfalls in Ihrer ~/.bashrc oder ~/.bash_profile.

Erweiterte Konfiguration

Um die Zuverlässigkeit und Leistung von Dify zu verbessern, können folgende Konfigurationen vorgenommen werden:

1. GPU-Pinning

Durch GPU-Pinning können Sie sicherstellen, dass bestimmte Container immer auf derselben GPU laufen, was die Leistung stabilisiert. Fügen Sie dies zu Ihrer docker-compose.yml hinzu:

deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]
              options:
                com.nvidia.cuda.visible_devices: "0"

2. Optimierung der Batch-Größe

Die Anpassung der Batch-Größe kann die Verarbeitungsgeschwindigkeit erhöhen. In der Konfigurationsdatei config.yaml können Sie die Batch-Größe anpassen:

batch_size: 32

3. Nutzung von Mixed Precision

Mixed Precision Training kann den Speicherbedarf reduzieren und die Geschwindigkeit erhöhen. Aktivieren Sie es in Ihrer config.yaml:

mixed_precision: true