Dify GPU ホスティングガイド 2026 — Dify でローカル LLM を実行

なぜ GPU サーバーで Dify を実行するのか？

Ollama または LocalAI 経由でローカルホストの LLM に Dify を接続することで、クラウド AI プロバイダーへの依存を完全に排除できます。得られるメリット：

GPU クラウドプロバイダー比較

価格は 2026年初頭のオンデマンド概算料金です。リザーブドインスタンスやスポットインスタンスは通常より安くなります。

Dify や Ollama をインストールする前に、Docker コンテナが GPU にアクセスできるよう NVIDIA CUDA ドライバーと Container Toolkit が必要です。

CUDA Toolkit 12.3 のインストール

# NVIDIA ドライバーがインストール済みか確認
nvidia-smi

# 未インストールの場合、NVIDIA リポジトリを追加
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-keyring_1.1-1_all.deb
sudo dpkg -i cuda-keyring_1.1-1_all.deb
sudo apt update

# CUDA ツールキットをインストール（ドライバー含む）
sudo apt install -y cuda-toolkit-12-3

# ドライバーインストール後に再起動が必要
sudo reboot

GPU の確認と Docker の設定

# 再起動後、GPU が検出されているか確認
nvidia-smi

# NVIDIA Container Toolkit をインストール（Docker から GPU にアクセスするため）
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
sudo apt update && sudo apt install -y nvidia-container-toolkit
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

nvidia-smi を実行すると、GPU がドライバーバージョンと VRAM とともに表示されます。Docker で --gpus all が使えるようになれば、次のステップに進む準備完了です。

Ollama は GPU でオープンソース LLM を提供する最も簡単な方法です。CUDA を自動検出し、推論に GPU を使用します。

Ollama のインストールとモデルのダウンロード

# Ollama をインストール（ワンライナー）
curl -fsSL https://ollama.com/install.sh | sh

# Ollama が動作しているか確認
ollama list

# LLM モデルをダウンロード
ollama pull llama3.1:8b
ollama pull mistral:7b
ollama pull codellama:13b

# モデルをテスト
ollama run llama3.1:8b "こんにちは、何ができますか？"

Ollama を全ネットワークインターフェースにバインド

デフォルトでは Ollama は localhost のみでリッスンします。Dify の Docker コンテナから到達できるようにするため、0.0.0.0 にバインドする必要があります：

# Ollama の systemd サービスを編集して全インターフェースにバインド
sudo systemctl edit ollama --force --full

# [Service] セクションを見つけて以下を追加:
# Environment="OLLAMA_HOST=0.0.0.0:11434"

# 変更を適用
sudo systemctl daemon-reload
sudo systemctl restart ollama

docker-compose.override.yaml の設定

Linux 上でコンテナが host.docker.internal をホストマシンに解決できるよう、Dify ディレクトリで docker-compose.override.yaml を作成または編集します：

services:
  api:
    extra_hosts:
      - "host.docker.internal:host-gateway"
  worker:
    extra_hosts:
      - "host.docker.internal:host-gateway"

Ollama が起動して到達可能になったら、Dify のモデルプロバイダーとして追加します：

1. Dify インスタンスを開き、右上のアバターをクリックします。
2. 設定からモデルプロバイダーに移動します。
3. スクロールして Ollama を見つけ、モデルを追加をクリックします。
4. ベース URL を http://host.docker.internal:11434 に設定します。
5. モデル名を ollama list の表示通りに入力します（例：llama3.1:8b）。
6. 保存をクリック — Dify が接続をテストします。緑のチェックマークで成功を確認できます。
7. モデルはすべての Dify アプリとワークフローで利用可能になります。

OpenAI 互換の API インターフェースを好む場合、LocalAI は Ollama の優れた代替手段です。/v1/chat/completions などのエンドポイントを公開しているため、追加設定なしに Dify の既存 OpenAI 統合を使用できます。

Docker で LocalAI を実行（GPU 有効）

# LocalAI を Docker で実行（GPU 有効）
docker run -d --gpus all -p 8080:8080 -v /path/to/models:/models --name local-ai localai/localai:latest-aio-gpu-nvidia-cuda-12

起動後、Dify で モデルプロバイダー：OpenAI-API-compatible を設定し、ベース URL を http://host.docker.internal:8080/v1 に設定し、LocalAI にロード済みの任意のモデル名を使用します。ローカルデプロイに API キーは不要です。

用途別モデル推奨

利用可能な VRAM と、アプリケーションに必要な品質・速度のトレードオフに基づいてモデルを選択してください。

VRAM クイックリファレンス

これはフル精度（fp16）推論の概算要件です。量子化モデル（Q4/Q5）は VRAM 使用量を 30〜50% 削減でき、小さな GPU でより大きなモデルを実行できます。

関連ガイド