Actualizado marzo 2026 $0 en costes de API

Guía de Hosting GPU para Dify 2026 — Ejecutar LLMs Locales con Dify

Aloja Dify en un servidor GPU y conéctalo a Ollama o LocalAI para ejecutar Llama 3, Mistral y otros modelos de código abierto en local — con cero costes por token y total privacidad de los datos.

¿Por qué ejecutar Dify en un servidor GPU?

Conectar Dify a un LLM alojado localmente mediante Ollama o LocalAI elimina por completo la dependencia de proveedores de IA en la nube. Estas son las ventajas:

💰

Sin costes de API

Paga solo por el servidor GPU, no por token. El uso de alto volumen resulta drásticamente más barato.

🔒

Privacidad de datos

Los prompts y respuestas nunca salen de tu infraestructura — esencial para sectores regulados.

🧩

Modelos personalizados

Ejecuta modelos ajustados o específicos de dominio que no están disponibles en ninguna API pública.

🚀

Sin límites de velocidad

Envía tantas solicitudes como tu GPU pueda manejar — sin throttling ni errores de cuota.

Comparativa de proveedores de GPU en la nube

Los precios son tarifas aproximadas bajo demanda a principios de 2026. Las instancias reservadas y spot suelen ser más baratas.

Proveedor GPU VRAM Precio/hr Ideal para
Lambda Labs A10 24 GB $0.75/hr Desarrollo
Vast.ai RTX 4090 24 GB ~$0.35/hr Económico
RunPod A100 80 GB $1.99/hr Producción
CoreWeave H100 80 GB $2.50/hr Empresarial
Hetzner GPU A100 80 GB 2,49 EUR/hr Cumplimiento EU
1

Instalar CUDA y NVIDIA Container Toolkit

Antes de instalar Dify u Ollama, necesitas los drivers NVIDIA CUDA y el Container Toolkit para que los contenedores Docker puedan acceder a la GPU.

Instalar CUDA Toolkit 12.3

Verificar la GPU y configurar Docker

Tras ejecutar nvidia-smi, deberías ver tu GPU listada con su versión de driver y VRAM. Si Docker ya puede usar --gpus all, estás listo para el siguiente paso.

2

Instalar Ollama y descargar modelos LLM

Ollama es la forma más sencilla de servir LLMs de código abierto en tu GPU. Detecta automáticamente CUDA y utiliza la GPU para la inferencia.

Instalar Ollama y descargar modelos

Vincular Ollama a todas las interfaces de red

Por defecto, Ollama solo escucha en localhost. Para que sea accesible desde los contenedores Docker de Dify, debes vincularlo a 0.0.0.0:

Configurar docker-compose.override.yaml

Crea o edita docker-compose.override.yaml en tu directorio de Dify para que los contenedores puedan resolver host.docker.internal hacia la máquina anfitriona en Linux:

Nota: En macOS y Windows, host.docker.internal se resuelve automáticamente. En Linux, la entrada extra_hosts mostrada arriba es obligatoria.

3

Conectar Dify a Ollama

Con Ollama en ejecución y accesible, añádelo como proveedor de modelos en Dify:

  1. Abre tu instancia de Dify y haz clic en tu avatar en la esquina superior derecha.
  2. Ve a Configuración y luego a Proveedor de modelos.
  3. Desplázate hacia abajo para encontrar Ollama y haz clic en Añadir modelo.
  4. Establece la URL base en http://host.docker.internal:11434.
  5. Introduce el nombre del modelo exactamente como aparece en ollama list (p. ej. llama3.1:8b).
  6. Haz clic en Guardar — Dify probará la conexión. Una marca de verificación verde confirma el éxito.
  7. El modelo ya está disponible en todas tus aplicaciones y flujos de trabajo de Dify.

Consejo: Repite el paso 5 para cada modelo que hayas descargado. Puedes añadir tantos modelos Ollama como quieras — cada uno aparece como un modelo seleccionable independiente dentro de Dify.

4

LocalAI — Una alternativa compatible con OpenAI

Si prefieres una superficie de API compatible con OpenAI, LocalAI es una excelente alternativa a Ollama. Expone endpoints como /v1/chat/completions para que puedas usar la integración OpenAI existente de Dify sin configuración adicional.

Ejecutar LocalAI con Docker (GPU)

Una vez en ejecución, configura Dify con Proveedor de modelos: compatible con API de OpenAI, establece la URL base en http://host.docker.internal:8080/v1 y usa cualquier nombre de modelo que hayas cargado en LocalAI. No se requiere clave de API para despliegues locales.

Recomendaciones de modelos por caso de uso

Elige tu modelo según la VRAM disponible y el equilibrio entre calidad y velocidad que necesita tu aplicación.

Modelo VRAM requerida Velocidad Ideal para
llama3.1:8b ~6 GB Rápido Uso general, chat
mistral:7b ~5 GB Muy rápido Apps críticas por velocidad
codellama:13b ~10 GB Medio Generación de código
llama3.1:70b ~40 GB Lento Salidas de alta calidad
mixtral:8x7b ~26 GB Medio Calidad/velocidad equilibradas

Referencia rápida de VRAM

~6 GB
Modelos 7B
p. ej. Llama 3.1 8B, Mistral 7B
~10 GB
Modelos 13B
p. ej. CodeLlama 13B
~20 GB
Modelos 34B
p. ej. CodeLlama 34B
~40 GB
Modelos 70B
p. ej. Llama 3.1 70B

Estos son requisitos aproximados para inferencia de precisión completa (fp16). Los modelos cuantizados (Q4/Q5) pueden reducir el uso de VRAM entre un 30 y un 50%, permitiendo ejecutar modelos más grandes en GPUs más pequeñas.

Guías relacionadas

Errores Comunes y Cómo Evitarlos

1. No instalar los drivers de NVIDIA correctamente

Este error ocurre cuando los drivers no son compatibles con la versión de CUDA. El síntoma es que `nvidia-smi` no muestra la GPU.

Solución: Asegúrate de descargar la versión correcta de los drivers desde el sitio oficial de NVIDIA y verifica la compatibilidad con tu versión de CUDA.

2. Configuración incorrecta de Docker

Al no habilitar el acceso a la GPU en Docker, los contenedores no pueden utilizarla. Esto se manifiesta con errores de "no se puede acceder a la GPU".

Solución: Asegúrate de que el daemon de Docker está configurado para usar el runtime de NVIDIA. Edita el archivo /etc/docker/daemon.json y añade:

{
      "runtimes": {
        "nvidia": {
          "path": "nvidia-container-runtime",
          "runtimeArgs": []
        }
      }
    }

3. Ignorar la gestión de recursos

Al no limitar la cantidad de recursos que Dify puede usar, puedes sobrecargar la GPU, lo que lleva a caídas o lentitud. Los síntomas incluyen tiempos de respuesta largos.

Solución: Configura límites de recursos en tu archivo docker-compose.yml:

services:
      api:
        deploy:
          resources:
            limits:
              cpus: '0.5'
              memory: 2G

4. No actualizar las imágenes de Docker

Usar imágenes desactualizadas puede causar incompatibilidades. Los errores de ejecución son comunes cuando se utilizan versiones antiguas.

Solución: Ejecuta docker-compose pull regularmente para asegurarte de que estás utilizando las últimas versiones.

Configuración Avanzada

1. Ajuste de la memoria compartida

Para mejorar el rendimiento, puedes ajustar la memoria compartida en Docker. Esto es útil para modelos grandes que requieren más memoria.

services:
      api:
        shm_size: '1gb'

2. Configuración de variables de entorno

Algunas aplicaciones pueden beneficiarse de variables de entorno específicas. Por ejemplo, puedes establecer la variable CUDA_VISIBLE_DEVICES para seleccionar qué GPU usar.

environment:
      - CUDA_VISIBLE_DEVICES=0

3. Optimización de la red

Configura la red en Docker para mejorar la comunicación entre contenedores. Cambia el modo de red a host si es necesario.

network_mode: host