🤖 คู่มือการติดตั้งและใช้งาน Ollama Docker ด้วย Nvidia GPU

nvidia-smi

# เพิ่ม repository
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg

curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
  sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
  sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

# ติดตั้ง
sudo apt-get update
sudo apt-get install -y nvidia-container-toolkit

# กำหนดค่า Docker
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

D:\Docker\ollama\
├── docker-compose.yml          # การกำหนดค่าหลัก (GPU)
├── docker-compose-cpu.yml      # การกำหนดค่าสำรอง (CPU)
├── .env.example                # ตัวอย่างการกำหนดค่า
├── manage-ollama.bat           # Script จัดการ (Windows)
├── manage-ollama.ps1           # Script จัดการ (PowerShell)
├── README.md                   # คู่มือใช้งานฉบับเต็ม
├── TROUBLESHOOTING.md          # คู่มือแก้ไขปัญหา
└── QUICKSTART.md              # คู่มือเริ่มต้นอย่างรวดเร็ว

version: '3.8'

services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama
    restart: unless-stopped
    ports:
      - "11434:11434"
    volumes:
      - ollama_data:/root/.ollama
    environment:
      - OLLAMA_KEEP_ALIVE=24h
      - NVIDIA_VISIBLE_DEVICES=all
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: ["gpu"]

  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: open-webui
    restart: unless-stopped
    ports:
      - "3000:8080"
    volumes:
      - open_webui_data:/app/backend/data
    environment:
      - OLLAMA_BASE_URL=http://ollama:11434
    depends_on:
      - ollama

volumes:
  ollama_data:
  open_webui_data:

# ตรวจสอบ containers
docker-compose ps

# ตรวจสอบ logs
docker-compose logs ollama

# ตรวจสอบ GPU ใน container
docker exec -it ollama nvidia-smi

# ดูรายการโมเดลที่ติดตั้งแล้ว
docker exec -it ollama ollama list

# ลบโมเดลที่ไม่ใช้
docker exec -it ollama ollama rm llama2:70b

# ดูข้อมูลโมเดล
docker exec -it ollama ollama show llama2:7b

# ทดสอบ API พื้นฐาน
curl http://localhost:11434/api/tags

# สร้างข้อความ
curl http://localhost:11434/api/generate -d '{
  "model": "llama2:7b",
  "prompt": "Write a hello world program in Python",
  "stream": false
}'

# แชทแบบ conversation
curl http://localhost:11434/api/chat -d '{
  "model": "llama2:7b",
  "messages": [
    {
      "role": "user",
      "content": "Hello! How are you?"
    }
  ]
}'

# เข้าสู่โหมดแชท
docker exec -it ollama ollama run llama2:7b

# ออกจากโหมดแชท
/bye

# รันคำสั่งเดียว
docker exec -it ollama ollama run llama2:7b "Explain quantum computing in simple terms"

# สำรองข้อมูลโมเดล
docker run --rm -v ollama_data:/data -v ${PWD}:/backup alpine tar czf /backup/ollama-backup.tar.gz /data

# กู้คืนข้อมูล
docker run --rm -v ollama_data:/data -v ${PWD}:/backup alpine tar xzf /backup/ollama-backup.tar.gz -C /

# หยุดและลบ containers
docker-compose down

# ลบ volumes (โมเดลจะหายทั้งหมด!)
docker-compose down -v

# ลบ images ที่ไม่ใช้
docker image prune -a

# ลบทุกอย่างที่ไม่ใช้
docker system prune -a --volumes