Dify GPU 托管指南 2026 — 使用 Dify 运行本地 LLM

为什么要在 GPU 服务器上运行 Dify？

通过 Ollama 或 LocalAI 将 Dify 连接到本地托管的 LLM，可以完全消除对云端 AI 提供商的依赖。以下是您的收益：

GPU 云服务商对比

价格为 2026年初按需使用的大致费率，预留实例和竞价实例通常更便宜。

在安装 Dify 或 Ollama 之前，您需要 NVIDIA CUDA 驱动和 Container Toolkit，以便 Docker 容器能够访问 GPU。

安装 CUDA Toolkit 12.3

# 检查 NVIDIA 驱动是否已安装
nvidia-smi

# 如未安装，添加 NVIDIA 软件源
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-keyring_1.1-1_all.deb
sudo dpkg -i cuda-keyring_1.1-1_all.deb
sudo apt update

# 安装 CUDA 工具包（含驱动）
sudo apt install -y cuda-toolkit-12-3

# 安装驱动后需要重启
sudo reboot

验证 GPU 并配置 Docker

# 重启后，验证 GPU 是否被识别
nvidia-smi

# 安装 NVIDIA Container Toolkit（让 Docker 容器访问 GPU）
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
sudo apt update && sudo apt install -y nvidia-container-toolkit
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

运行 nvidia-smi 后，您应该能看到 GPU 及其驱动版本和显存信息。如果 Docker 现在可以使用 --gpus all，则可以进入下一步。

Ollama 是在 GPU 上运行开源 LLM 最简便的方式，它会自动检测 CUDA 并使用 GPU 进行推理。

安装 Ollama 并拉取模型

# 安装 Ollama（一键安装）
curl -fsSL https://ollama.com/install.sh | sh

# 验证 Ollama 是否运行
ollama list

# 拉取 LLM 模型
ollama pull llama3.1:8b
ollama pull mistral:7b
ollama pull codellama:13b

# 测试模型
ollama run llama3.1:8b "你好，你能做什么？"

将 Ollama 绑定到所有网络接口

默认情况下，Ollama 仅监听 localhost。要使其能被 Dify 的 Docker 容器访问，需将其绑定到 0.0.0.0：

# 编辑 Ollama systemd 服务，绑定到所有网络接口
sudo systemctl edit ollama --force --full

# 找到 [Service] 部分并添加：
# Environment="OLLAMA_HOST=0.0.0.0:11434"

# 应用更改
sudo systemctl daemon-reload
sudo systemctl restart ollama

配置 docker-compose.override.yaml

在 Dify 目录中创建或编辑 docker-compose.override.yaml，以便 Linux 上的容器能将 host.docker.internal 解析为宿主机：

services:
  api:
    extra_hosts:
      - "host.docker.internal:host-gateway"
  worker:
    extra_hosts:
      - "host.docker.internal:host-gateway"

Ollama 运行并可访问后，将其添加为 Dify 的模型提供商：

1. 打开您的 Dify 实例，点击右上角的头像。
2. 进入设置，然后选择模型提供商。
3. 向下滚动找到 Ollama，点击添加模型。
4. 将基础 URL 设置为 http://host.docker.internal:11434。
5. 按照 ollama list 显示的名称，准确填写模型名称（例如 llama3.1:8b）。
6. 点击保存——Dify 将测试连接，绿色对勾表示成功。
7. 该模型现已在您所有的 Dify 应用和工作流中可用。

如果您偏好兼容 OpenAI 的 API 接口，LocalAI 是 Ollama 的出色替代方案。它暴露了 /v1/chat/completions 等端点，无需额外配置即可使用 Dify 现有的 OpenAI 集成。

使用 Docker 运行 LocalAI（GPU）

# 使用 Docker 运行 LocalAI（启用 GPU）
docker run -d --gpus all -p 8080:8080 -v /path/to/models:/models --name local-ai localai/localai:latest-aio-gpu-nvidia-cuda-12

启动后，在 Dify 中配置模型提供商：OpenAI-API-compatible，将基础 URL 设为 http://host.docker.internal:8080/v1，并使用在 LocalAI 中加载的任意模型名称。本地部署无需 API 密钥。

按使用场景的模型推荐

根据可用显存以及应用对质量与速度的权衡来选择模型。

显存快速参考

以上为全精度（fp16）推理的大致需求。量化模型（Q4/Q5）可将显存占用降低 30–50%，使更大的模型能在较小的 GPU 上运行。

相关指南