Bijgewerkt maart 2026 $0 API-kosten

Dify GPU Hosting Gids 2026 — Lokale LLM's uitvoeren met Dify

Host Dify op een GPU-server en verbind het met Ollama of LocalAI om Llama 3, Mistral en andere open-source modellen lokaal uit te voeren — met nul API-kosten per token en volledige gegevensprivacy.

Waarom Dify op een GPU-server draaien?

Dify verbinden met een lokaal gehoste LLM via Ollama of LocalAI elimineert de afhankelijkheid van cloud-AI-providers volledig. Dit zijn de voordelen:

💰

Geen API-kosten

Betaal alleen voor de GPU-server — niet per token. Grootschalig gebruik wordt aanzienlijk goedkoper.

🔒

Gegevensprivacy

Prompts en antwoorden verlaten uw infrastructuur niet — essentieel voor gereguleerde sectoren.

🧩

Aangepaste modellen

Voer fijn afgestemde of domeinspecifieke modellen uit die via geen enkele publieke API beschikbaar zijn.

🚀

Geen snelheidslimieten

Stuur zoveel verzoeken als uw GPU aankan — geen throttling, geen quotafouten.

GPU-cloudproviders vergeleken

Prijzen zijn de geschatte on-demand tarieven van begin 2026. Gereserveerde en spot-instanties zijn doorgaans goedkoper.

Provider GPU VRAM Prijs/uur Ideaal voor
Lambda Labs A10 24 GB $0,75/uur Ontwikkeling
Vast.ai RTX 4090 24 GB ~$0,35/uur Budget
RunPod A100 80 GB $1,99/uur Productie
CoreWeave H100 80 GB $2,50/uur Enterprise
Hetzner GPU A100 80 GB 2,49 EUR/uur EU-compliance
1

CUDA en NVIDIA Container Toolkit installeren

Voordat u Dify of Ollama installeert, hebt u de NVIDIA CUDA-stuurprogramma's en de Container Toolkit nodig zodat Docker-containers de GPU kunnen gebruiken.

CUDA Toolkit 12.3 installeren

GPU verifiëren en Docker configureren

Na het uitvoeren van nvidia-smi zou u uw GPU met de stuurprogrammaversie en VRAM moeten zien. Als Docker nu --gpus all kan gebruiken, bent u klaar voor de volgende stap.

2

Ollama installeren en LLM-modellen downloaden

Ollama is de eenvoudigste manier om open-source LLM's op uw GPU te draaien. Het detecteert CUDA automatisch en gebruikt de GPU voor inferentie.

Ollama installeren en modellen downloaden

Ollama binden aan alle netwerkinterfaces

Standaard luistert Ollama alleen op localhost. Om het bereikbaar te maken vanuit Dify's Docker-containers, moet u het binden aan 0.0.0.0:

docker-compose.override.yaml configureren

Maak of bewerk docker-compose.override.yaml in uw Dify-map zodat containers host.docker.internal naar de hostmachine kunnen oplossen op Linux:

Let op: Op macOS en Windows wordt host.docker.internal automatisch opgelost. Op Linux is de bovenstaande extra_hosts-vermelding vereist.

3

Dify verbinden met Ollama

Met Ollama actief en bereikbaar, voegt u het toe als modelleverancier in Dify:

  1. Open uw Dify-instantie en klik op uw avatar rechtsboven.
  2. Ga naar Instellingen en vervolgens Modelleverancier.
  3. Scroll naar beneden om Ollama te vinden en klik op Model toevoegen.
  4. Stel de Basis-URL in op http://host.docker.internal:11434.
  5. Voer de Modelnaam precies in zoals weergegeven door ollama list (bijv. llama3.1:8b).
  6. Klik op Opslaan — Dify test de verbinding. Een groen vinkje bevestigt succes.
  7. Het model is nu beschikbaar in al uw Dify-apps en workflows.

Tip: Herhaal stap 5 voor elk gedownload model. U kunt zoveel Ollama-modellen toevoegen als u wilt — elk verschijnt als een apart selecteerbaar model in Dify.

4

LocalAI — Een OpenAI-compatibel alternatief

Als u de voorkeur geeft aan een OpenAI-compatibel API-oppervlak, is LocalAI een uitstekend alternatief voor Ollama. Het biedt eindpunten zoals /v1/chat/completions, zodat u de bestaande OpenAI-integratie van Dify kunt gebruiken zonder extra configuratie.

LocalAI uitvoeren met Docker (GPU)

Configureer Dify na het opstarten met Modelleverancier: OpenAI-API-compatible, stel de basis-URL in op http://host.docker.internal:8080/v1 en gebruik de naam van een model dat in LocalAI is geladen. Voor lokale implementaties is geen API-sleutel vereist.

Modelaanbevelingen per gebruiksscenario

Kies uw model op basis van beschikbaar VRAM en de kwaliteit-snelheidsafweging die uw applicatie nodig heeft.

Model Vereist VRAM Snelheid Ideaal voor
llama3.1:8b ~6 GB Snel Algemeen gebruik, chat
mistral:7b ~5 GB Zeer snel Snelheidskritieke apps
codellama:13b ~10 GB Gemiddeld Codegeneratie
llama3.1:70b ~40 GB Langzaam Hoogwaardige uitvoer
mixtral:8x7b ~26 GB Gemiddeld Balans kwaliteit/snelheid

VRAM snelreferentie

~6 GB
7B-modellen
bijv. Llama 3.1 8B, Mistral 7B
~10 GB
13B-modellen
bijv. CodeLlama 13B
~20 GB
34B-modellen
bijv. CodeLlama 34B
~40 GB
70B-modellen
bijv. Llama 3.1 70B

Dit zijn geschatte vereisten voor full-precision (fp16) inferentie. Gekwantiseerde modellen (Q4/Q5) kunnen VRAM-gebruik met 30–50% verminderen, waardoor grotere modellen op kleinere GPU's kunnen draaien.

Gerelateerde handleidingen

Veelvoorkomende Fouten en Hoe Ze te Vermijden

1. Verkeerde CUDA-versie

Een veelvoorkomende fout is het installeren van een CUDA-versie die niet compatibel is met de GPU of de Dify-versie. Dit kan leiden tot foutmeldingen zoals:

CUDA error: invalid device function

Controleer altijd de compatibiliteit van de CUDA-versie met uw GPU en de Dify-documentatie.

2. Onvoldoende GPU-geheugen

Bij het draaien van grote modellen zoals Llama 3 kan onvoldoende VRAM leiden tot crashes. U kunt een foutmelding krijgen zoals:

Out of memory error

Verhoog het VRAM door een GPU met meer geheugen te kiezen of gebruik een kleiner model.

3. Foutieve Docker-configuratie

Een onjuiste configuratie van Docker kan leiden tot problemen bij het starten van Dify. U kunt een foutmelding zien zoals:

Error: Cannot connect to the Docker daemon

Zorg ervoor dat Docker draait en dat u de juiste rechten hebt. Gebruik sudo systemctl start docker om Docker te starten.

4. Geen netwerktoegang voor containers

Als de containers geen netwerktoegang hebben, kunnen ze niet communiceren met externe bronnen. Dit kan leiden tot time-outfouten. Controleer de netwerkconfiguratie in uw docker-compose.yml.

5. Onjuiste poortconfiguratie

Als de poorten niet correct zijn ingesteld, kunnen verzoeken niet worden verwerkt. U kunt een foutmelding krijgen zoals:

Connection refused

Controleer of de juiste poorten zijn geopend in uw firewall en dat ze overeenkomen met de configuratie in docker-compose.yml.

Geavanceerde Configuratie

1. Resource Limieten Instellen

Stel limieten in voor CPU en geheugen om de stabiliteit te verbeteren. Voeg dit toe aan uw docker-compose.yml:


        services:
          api:
            deploy:
              resources:
                limits:
                  cpus: '1.0'
                  memory: 2G

2. Logging Configuratie

Configureer logging om eenvoudig problemen te diagnosticeren. Voeg de volgende sectie toe aan uw docker-compose.yml:


        services:
          api:
            logging:
              driver: "json-file"
              options:
                max-size: "10m"
                max-file: "3"

3. GPU Toewijzing

Specificeer welke GPU moet worden gebruikt. Voeg dit toe aan uw docker-compose.yml:


        services:
          api:
            deploy:
              resources:
                reservations:
                  devices:
                    - driver: nvidia
                      count: all
                      capabilities: [gpu]