Dify GPU 호스팅 가이드 2026 — Dify로 로컬 LLM 실행

GPU 서버에서 Dify를 실행하는 이유

Ollama 또는 LocalAI를 통해 Dify를 로컬 호스팅 LLM에 연결하면 클라우드 AI 제공업체에 대한 의존성을 완전히 제거할 수 있습니다. 얻을 수 있는 이점:

GPU 클라우드 제공업체 비교

가격은 2026년 초 기준 온디맨드 대략적인 요금입니다. 예약 및 스팟 인스턴스는 일반적으로 더 저렴합니다.

Dify나 Ollama를 설치하기 전에, Docker 컨테이너가 GPU에 접근할 수 있도록 NVIDIA CUDA 드라이버와 Container Toolkit이 필요합니다.

CUDA Toolkit 12.3 설치

# NVIDIA 드라이버가 이미 설치되어 있는지 확인
nvidia-smi

# 설치되지 않은 경우 NVIDIA 저장소 추가
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-keyring_1.1-1_all.deb
sudo dpkg -i cuda-keyring_1.1-1_all.deb
sudo apt update

# CUDA 툴킷 설치 (드라이버 포함)
sudo apt install -y cuda-toolkit-12-3

# 드라이버 설치 후 재부팅 필요
sudo reboot

GPU 확인 및 Docker 설정

# 재부팅 후 GPU가 감지되는지 확인
nvidia-smi

# NVIDIA Container Toolkit 설치 (Docker GPU 접근용)
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
sudo apt update && sudo apt install -y nvidia-container-toolkit
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

nvidia-smi를 실행하면 드라이버 버전과 VRAM 정보와 함께 GPU가 표시됩니다. Docker에서 --gpus all을 사용할 수 있다면 다음 단계로 진행할 준비가 된 것입니다.

Ollama는 GPU에서 오픈소스 LLM을 제공하는 가장 쉬운 방법입니다. CUDA를 자동으로 감지하여 추론에 GPU를 사용합니다.

Ollama 설치 및 모델 다운로드

# Ollama 설치 (원라인 설치)
curl -fsSL https://ollama.com/install.sh | sh

# Ollama 실행 확인
ollama list

# LLM 모델 다운로드
ollama pull llama3.1:8b
ollama pull mistral:7b
ollama pull codellama:13b

# 모델 테스트
ollama run llama3.1:8b "안녕하세요, 무엇을 할 수 있나요?"

Ollama를 모든 네트워크 인터페이스에 바인딩

기본적으로 Ollama는 localhost에서만 수신합니다. Dify의 Docker 컨테이너에서 접근 가능하도록 0.0.0.0에 바인딩해야 합니다:

# Ollama systemd 서비스를 편집하여 모든 인터페이스에 바인딩
sudo systemctl edit ollama --force --full

# [Service] 섹션을 찾아 다음을 추가:
# Environment="OLLAMA_HOST=0.0.0.0:11434"

# 변경 사항 적용
sudo systemctl daemon-reload
sudo systemctl restart ollama

docker-compose.override.yaml 설정

Linux에서 컨테이너가 host.docker.internal을 호스트 머신으로 해석할 수 있도록 Dify 디렉토리에서 docker-compose.override.yaml을 생성하거나 편집합니다:

services:
  api:
    extra_hosts:
      - "host.docker.internal:host-gateway"
  worker:
    extra_hosts:
      - "host.docker.internal:host-gateway"

Ollama가 실행 중이고 접근 가능하면, Dify에 모델 제공업체로 추가합니다:

1. Dify 인스턴스를 열고 우측 상단의 아바타를 클릭합니다.
2. 설정으로 이동한 후 모델 제공업체를 선택합니다.
3. 스크롤하여 Ollama를 찾고 모델 추가를 클릭합니다.
4. 기본 URL을 http://host.docker.internal:11434으로 설정합니다.
5. 모델 이름을 ollama list에 표시된 그대로 입력합니다 (예: llama3.1:8b).
6. 저장을 클릭하면 Dify가 연결을 테스트합니다. 초록색 체크 표시가 성공을 의미합니다.
7. 이제 모든 Dify 앱과 워크플로에서 해당 모델을 사용할 수 있습니다.

OpenAI 호환 API 인터페이스를 선호한다면 LocalAI가 Ollama의 훌륭한 대안입니다. /v1/chat/completions와 같은 엔드포인트를 노출하므로 추가 설정 없이 Dify의 기존 OpenAI 통합을 사용할 수 있습니다.

Docker로 LocalAI 실행 (GPU)

# Docker로 LocalAI 실행 (GPU 활성화)
docker run -d --gpus all -p 8080:8080 -v /path/to/models:/models --name local-ai localai/localai:latest-aio-gpu-nvidia-cuda-12

실행 후 Dify에서 모델 제공업체: OpenAI-API-compatible을 설정하고, 기본 URL을 http://host.docker.internal:8080/v1로 설정하고, LocalAI에 로드된 모델 이름을 사용합니다. 로컬 배포에는 API 키가 필요하지 않습니다.

사용 사례별 모델 추천

사용 가능한 VRAM과 애플리케이션에 필요한 품질-속도 트레이드오프를 기준으로 모델을 선택하세요.

VRAM 빠른 참조

이는 풀 정밀도(fp16) 추론의 대략적인 요구 사항입니다. 양자화 모델(Q4/Q5)은 VRAM 사용량을 30–50% 줄여 더 작은 GPU에서 더 큰 모델을 실행할 수 있게 합니다.

관련 가이드