Aggiornato marzo 2026 $0 costi API

Guida GPU Hosting Dify 2026 — Esegui LLM locali con Dify

Ospita Dify su un server GPU e collegalo a Ollama o LocalAI per eseguire Llama 3, Mistral e altri modelli open-source in locale — senza costi per token e con completa privacy dei dati.

Perché eseguire Dify su un server GPU?

Collegare Dify a un LLM ospitato localmente tramite Ollama o LocalAI elimina completamente la dipendenza dai provider AI cloud. Ecco cosa guadagni:

💰

Zero costi API

Paghi solo il server GPU, non per token. L'utilizzo ad alto volume diventa notevolmente più economico.

🔒

Privacy dei dati

Prompt e risposte non lasciano mai la tua infrastruttura — essenziale per i settori regolamentati.

🧩

Modelli personalizzati

Esegui modelli fine-tuned o specifici per dominio non disponibili tramite API pubbliche.

🚀

Nessun limite di velocità

Gestisci tante richieste quante ne supporta la tua GPU — nessun throttling, nessun errore di quota.

Confronto provider cloud GPU

I prezzi sono tariffe on-demand approssimative all'inizio del 2026. Le istanze riservate e spot sono tipicamente più economiche.

Provider GPU VRAM Prezzo/ora Ideale per
Lambda Labs A10 24 GB $0.75/hr Sviluppo
Vast.ai RTX 4090 24 GB ~$0.35/hr Budget
RunPod A100 80 GB $1.99/hr Produzione
CoreWeave H100 80 GB $2.50/hr Enterprise
Hetzner GPU A100 80 GB 2.49 EUR/hr Conformità UE
1

Installa CUDA e NVIDIA Container Toolkit

Prima di installare Dify o Ollama, devi avere i driver NVIDIA CUDA e il Container Toolkit affinché i container Docker possano accedere alla GPU.

Installa CUDA Toolkit 12.3

Verifica GPU e configura Docker

Dopo aver eseguito nvidia-smi, dovresti vedere la tua GPU elencata con versione driver e VRAM. Se Docker può usare --gpus all, sei pronto per il passo successivo.

2

Installa Ollama e scarica i modelli LLM

Ollama è il modo più semplice per servire LLM open-source sulla tua GPU. Rileva automaticamente CUDA e usa la GPU per l'inferenza.

Installa Ollama e scarica i modelli

Configura Ollama per tutte le interfacce di rete

Per impostazione predefinita Ollama ascolta solo su localhost. Per renderlo raggiungibile dai container Docker di Dify, associalo a 0.0.0.0:

Configura docker-compose.override.yaml

Crea o modifica docker-compose.override.yaml nella directory Dify per risolvere host.docker.internal su Linux:

Nota: Su macOS e Windows, host.docker.internal si risolve automaticamente. Su Linux, la voce extra_hosts è necessaria.

3

Collega Dify a Ollama

Con Ollama in esecuzione e raggiungibile, aggiungilo come provider di modelli in Dify:

  1. Apri la tua istanza Dify e fai clic sull'avatar in alto a destra.
  2. Vai a Impostazioni poi Provider modello.
  3. Scorri verso il basso per trovare Ollama e fai clic su Aggiungi modello.
  4. Imposta l'URL base su http://host.docker.internal:11434.
  5. Inserisci il Nome modello esattamente come elencato da ollama list (es. llama3.1:8b).
  6. Fai clic su Salva — Dify testerà la connessione. Un segno di spunta verde conferma il successo.
  7. Il modello è ora disponibile in tutte le tue app e workflow Dify.
4

LocalAI — Un'alternativa compatibile con OpenAI

Se preferisci un'interfaccia API compatibile con OpenAI, LocalAI è un'eccellente alternativa a Ollama. Espone endpoint come /v1/chat/completions così puoi usare l'integrazione OpenAI esistente di Dify senza configurazioni extra.

Esegui LocalAI con Docker (GPU)

Una volta avviato, configura Dify con Provider modello: OpenAI-API-compatible, imposta l'URL base su http://host.docker.internal:8080/v1 e usa qualsiasi nome modello caricato in LocalAI. Nessuna API key è richiesta per distribuzioni locali.

Raccomandazioni modelli per caso d'uso

Scegli il modello in base alla VRAM disponibile e al compromesso qualità-velocità della tua applicazione.

Modello VRAM richiesta Velocità Ideale per
llama3.1:8b ~6 GB Veloce Uso generale, chat
mistral:7b ~5 GB Molto veloce App critiche per velocità
codellama:13b ~10 GB Medio Generazione codice
llama3.1:70b ~40 GB Lento Output di alta qualità
mixtral:8x7b ~26 GB Medio Equilibrio qualità/velocità

Riferimento rapido VRAM

~6 GB
Modelli 7B
es. Llama 3.1 8B, Mistral 7B
~10 GB
Modelli 13B
es. CodeLlama 13B
~20 GB
Modelli 34B
es. CodeLlama 34B
~40 GB
Modelli 70B
es. Llama 3.1 70B

Requisiti approssimativi per inferenza a piena precisione (fp16). I modelli quantizzati (Q4/Q5) riducono la VRAM del 30–50%.

Guide correlate

Errori Comuni e Come Evitarli

1. Ignorare le Dipendenze di Sistema

Molti utenti dimenticano di installare le dipendenze necessarie come CUDA e il NVIDIA Container Toolkit. Questo porta a errori di accesso alla GPU.

Errore comune: "NVIDIA driver not found".

Soluzione: Assicurati di seguire la guida di installazione per CUDA e installa il Container Toolkit usando:

sudo apt-get install nvidia-docker2

2. Configurazione Errata di Docker

Un errore frequente è non configurare Docker per utilizzare la GPU. Questo porta a prestazioni scadenti o a errori di esecuzione.

Errore comune: "Cannot connect to the Docker daemon".

Soluzione: Assicurati che il servizio Docker sia in esecuzione e che tu stia utilizzando il runtime corretto. Modifica il file di configurazione di Docker:

{
      "default-runtime": "nvidia",
      "runtimes": {
        "nvidia": {
          "path": "nvidia-container-runtime"
        }
      }
    }

3. Non Allocare Sufficiente VRAM

Alcuni utenti non considerano la quantità di VRAM necessaria per i modelli, causando crash o rallentamenti.

Errore comune: "Out of memory".

Soluzione: Controlla la VRAM disponibile con:

nvidia-smi

Assicurati di avere almeno 16 GB di VRAM per modelli complessi come Llama 3.

4. Non Monitorare le Risorse

Molti trascurano di monitorare l'utilizzo delle risorse, il che può portare a problemi di prestazioni.

Errore comune: Prestazioni degradate senza avvisi.

Soluzione: Utilizza strumenti come htop e nvidia-smi per monitorare CPU e GPU.