Mis à jour mars 2026 0 $ de coûts API

Guide Hébergement Dify GPU 2026 — Exécuter des LLM Locaux avec Dify

Hébergez Dify sur un serveur GPU et connectez-le à Ollama ou LocalAI pour exécuter Llama 3, Mistral et d'autres modèles open source en local — sans coûts par token et avec une confidentialité totale des données.

Pourquoi exécuter Dify sur un serveur GPU ?

Connecter Dify à un LLM hébergé localement via Ollama ou LocalAI supprime toute dépendance aux fournisseurs cloud d'IA. Voici ce que vous gagnez :

💰

Aucun coût API

Payez uniquement le serveur GPU — pas par token. L'usage intensif devient bien moins cher.

🔒

Confidentialité des données

Les prompts et réponses ne quittent jamais votre infrastructure — essentiel pour les secteurs réglementés.

🧩

Modèles personnalisés

Exécutez des modèles fine-tunés ou spécialisés indisponibles via aucune API publique.

🚀

Sans limite de débit

Envoyez autant de requêtes que votre GPU peut en traiter — sans throttling ni erreurs de quota.

Comparatif des fournisseurs cloud GPU

Les prix sont des tarifs à la demande approximatifs début 2026. Les instances réservées et spot sont généralement moins chères.

Fournisseur GPU VRAM Prix/heure Idéal pour
Lambda Labs A10 24 GB $0.75/hr Développement
Vast.ai RTX 4090 24 GB ~$0.35/hr Budget
RunPod A100 80 GB $1.99/hr Production
CoreWeave H100 80 GB $2.50/hr Enterprise
Hetzner GPU A100 80 GB 2.49 EUR/hr Conformité EU
1

Installer CUDA et NVIDIA Container Toolkit

Avant d'installer Dify ou Ollama, vous avez besoin des pilotes NVIDIA CUDA et du Container Toolkit pour que les conteneurs Docker puissent accéder au GPU.

Installer CUDA Toolkit 12.3

Vérifier le GPU et configurer Docker

Après avoir exécuté nvidia-smi, vous devriez voir votre GPU listé avec sa version de pilote et sa VRAM. Si Docker peut désormais utiliser --gpus all, vous êtes prêt pour l'étape suivante.

2

Installer Ollama et télécharger les modèles LLM

Ollama est la façon la plus simple de servir des LLM open source sur votre GPU. Il détecte automatiquement CUDA et utilise le GPU pour l'inférence.

Installer Ollama et télécharger les modèles

Lier Ollama à toutes les interfaces réseau

Par défaut, Ollama n'écoute que sur localhost. Pour le rendre accessible depuis les conteneurs Docker de Dify, vous devez le lier à 0.0.0.0 :

Configurer docker-compose.override.yaml

Créez ou modifiez docker-compose.override.yaml dans votre répertoire Dify pour que les conteneurs puissent résoudre host.docker.internal vers la machine hôte sous Linux :

Note : Sur macOS et Windows, host.docker.internal se résout automatiquement. Sous Linux, l'entrée extra_hosts ci-dessus est requise.

3

Connecter Dify à Ollama

Avec Ollama en cours d'exécution et accessible, ajoutez-le comme fournisseur de modèles dans Dify :

  1. Ouvrez votre instance Dify et cliquez sur votre avatar en haut à droite.
  2. Allez dans Paramètres puis Fournisseur de modèles.
  3. Faites défiler pour trouver Ollama et cliquez sur Ajouter un modèle.
  4. Définissez l'URL de base sur http://host.docker.internal:11434.
  5. Entrez le Nom du modèle exactement tel qu'affiché par ollama list (ex. llama3.1:8b).
  6. Cliquez sur Enregistrer — Dify testera la connexion. Une coche verte confirme le succès.
  7. Le modèle est maintenant disponible dans toutes vos applications et workflows Dify.

Conseil : Répétez l'étape 5 pour chaque modèle téléchargé. Vous pouvez ajouter autant de modèles Ollama que vous le souhaitez — chacun apparaît comme un modèle sélectionnable distinct dans Dify.

4

LocalAI — Une alternative compatible OpenAI

Si vous préférez une surface d'API compatible OpenAI, LocalAI est une excellente alternative à Ollama. Il expose des endpoints comme /v1/chat/completions pour utiliser l'intégration OpenAI existante de Dify sans configuration supplémentaire.

Exécuter LocalAI avec Docker (GPU)

Une fois en cours d'exécution, configurez Dify avec Fournisseur de modèles : Compatible OpenAI-API, définissez l'URL de base sur http://host.docker.internal:8080/v1, et utilisez le nom du modèle chargé dans LocalAI. Aucune clé API n'est requise pour les déploiements locaux.

Recommandations de modèles par cas d'usage

Choisissez votre modèle en fonction de la VRAM disponible et du compromis qualité/vitesse dont votre application a besoin.

Modèle VRAM requise Vitesse Idéal pour
llama3.1:8b ~6 Go Rapide Usage général, chat
mistral:7b ~5 Go Très rapide Applications critiques en vitesse
codellama:13b ~10 Go Moyen Génération de code
llama3.1:70b ~40 Go Lent Sorties haute qualité
mixtral:8x7b ~26 Go Moyen Équilibre qualité/vitesse

Référence rapide VRAM

~6 Go
Modèles 7B
ex. Llama 3.1 8B, Mistral 7B
~10 Go
Modèles 13B
ex. CodeLlama 13B
~20 Go
Modèles 34B
ex. CodeLlama 34B
~40 Go
Modèles 70B
ex. Llama 3.1 70B

Ces besoins sont approximatifs pour l'inférence en pleine précision (fp16). Les modèles quantifiés (Q4/Q5) peuvent réduire l'utilisation de VRAM de 30 à 50 %, permettant d'exécuter des modèles plus grands sur des GPU plus petits.

Guides associés

Erreurs Courantes et Comment les Éviter

1. Mauvaise Configuration de CUDA

Souvent, les utilisateurs oublient de vérifier la version de CUDA après l'installation. Cela peut entraîner des erreurs lors de l'exécution de Dify.

Erreur : CUDA driver version is insufficient for CUDA runtime version

Solution : Vérifiez la version de CUDA avec nvcc --version et assurez-vous qu'elle correspond à celle requise par votre version de Dify.

2. Omission des Variables d'Environnement

Les utilisateurs négligent souvent de définir les variables d'environnement nécessaires pour Docker.

Erreur : Cannot connect to the Docker daemon

Solution : Ajoutez les variables d'environnement dans votre fichier ~/.bashrc ou ~/.profile :

export PATH=/usr/local/cuda/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH

3. Utilisation de Ports Incorrects

Il est fréquent d'utiliser des ports par défaut sans vérifier s'ils sont déjà occupés.

Erreur : Bind failed: Address already in use

Solution : Utilisez netstat -tuln pour vérifier les ports en cours d'utilisation et modifiez votre fichier de configuration Docker en conséquence.

4. Ignorer les Limites de Mémoire

Les utilisateurs sous-estiment souvent la quantité de RAM nécessaire pour exécuter plusieurs modèles LLM.

Erreur : Out of memory

Solution : Assurez-vous d'avoir au moins 16 Go de RAM pour des modèles comme Llama 3. Ajustez les paramètres de votre conteneur Docker pour allouer suffisamment de mémoire.

Configuration Avancée

1. Limitation de la Mémoire GPU

Pour éviter les erreurs de mémoire, vous pouvez limiter l'utilisation de la mémoire GPU dans votre configuration Docker.

version: '3.8'
services:
  api:
    image: your_dify_image
    deploy:
      resources:
        limits:
          memory: 4G
          cpus: '0.5'

2. Optimisation des Paramètres de Docker

Utilisez des options de démarrage Docker pour améliorer la performance.

docker run --gpus all --shm-size=1g -p 8080:8080 your_dify_image

3. Configuration des Logs

Configurer les logs pour une meilleure traçabilité.

logging:
      driver: "json-file"
      options:
        max-size: "10m"
        max-file: "3"