ollama + QwQ-32B部署教程：Docker Compose编排、健康检查与日志监控

想体验一款号称能与DeepSeek-R1、o1-mini等顶尖推理模型媲美的AI吗？QwQ-32B就是这样一个存在。它不是普通的指令模型，而是专门为思考和推理而生的语言模型，在处理复杂问题时表现尤为出色。

今天，我将带你从零开始，用Docker Compose一键部署QwQ-32B的推理服务。我们不仅会完成部署，还会加入生产环境必备的健康检查和日志监控，让你部署的模型服务既强大又可靠。

1. 准备工作与环境检查

在开始之前，我们先确保你的环境已经就绪。

1.1 系统要求

QwQ-32B是一个325亿参数的大模型，对硬件有一定要求：

  • 内存：至少需要64GB RAM（推荐128GB以上）
  • 存储：模型文件约60GB，加上Docker镜像，建议准备100GB可用空间
  • CPU：支持AVX2指令集的现代CPU
  • 操作系统：Linux（Ubuntu 20.04+，CentOS 7+）或macOS
  • 网络：稳定的网络连接，用于下载模型

1.2 安装Docker和Docker Compose

如果你的系统还没有安装Docker，可以按照以下步骤安装：

# 对于Ubuntu/Debian系统
sudo apt-get update
sudo apt-get install -y docker.io docker-compose

# 启动Docker服务
sudo systemctl start docker
sudo systemctl enable docker

# 将当前用户加入docker组（避免每次使用sudo）
sudo usermod -aG docker $USER
# 需要重新登录或重启生效

# 验证安装
docker --version
docker-compose --version

2. 部署QwQ-32B模型服务

我们将使用Docker Compose来编排整个服务，这样管理起来更加方便。

2.1 创建项目目录结构

首先，创建一个专门的项目目录来存放所有配置文件：

mkdir -p ~/ollama-qwq32b
cd ~/ollama-qwq32b

2.2 编写Docker Compose配置文件

创建一个名为docker-compose.yml的文件，这是我们的核心配置文件：

version: '3.8'

services:
  ollama-qwq32b:
    image: ollama/ollama:latest
    container_name: ollama-qwq32b
    restart: unless-stopped
    ports:
      - "11434:11434"
    volumes:
      - ./ollama_data:/root/.ollama
      - ./models:/models
    environment:
      - OLLAMA_KEEP_ALIVE=24h
      - OLLAMA_HOST=0.0.0.0
      - OLLAMA_MODELS=/models
    healthcheck:
      test: ["CMD", "curl", "-f", "http://localhost:11434/api/tags"]
      interval: 30s
      timeout: 10s
      retries: 3
      start_period: 60s
    logging:
      driver: "json-file"
      options:
        max-size: "10m"
        max-file: "3"
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]
    command: serve

  # 可选：添加一个简单的Web界面
  ollama-webui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: ollama-webui
    restart: unless-stopped
    ports:
      - "3000:8080"
    volumes:
      - ./webui_data:/app/backend/data
    environment:
      - OLLAMA_BASE_URL=http://ollama-qwq32b:11434
    depends_on:
      ollama-qwq32b:
        condition: service_healthy

让我解释一下这个配置文件的关键部分：

  • 端口映射：将容器内的11434端口映射到主机的11434端口
  • 数据持久化：把模型数据和配置保存在本地目录，即使容器重启也不会丢失
  • 健康检查：定期检查服务是否正常运行
  • 日志配置：限制日志文件大小，避免占用过多磁盘空间
  • GPU支持：如果你的机器有NVIDIA GPU，会自动使用GPU加速

2.3 创建环境配置文件

为了让配置更灵活，我们创建一个.env文件来管理环境变量：

# 创建.env文件
cat > .env << 'EOF'
# Ollama配置
OLLAMA_HOST=0.0.0.0
OLLAMA_MODELS=/models
OLLAMA_KEEP_ALIVE=24h

# 模型配置
MODEL_NAME=qwq:32b
MODEL_PULL_ON_START=true

# 服务配置
WEBUI_ENABLED=true
WEBUI_PORT=3000

# 资源限制（根据你的硬件调整）
CPU_LIMIT=8
MEMORY_LIMIT=64g
EOF`

2.4 启动服务

现在一切准备就绪，让我们启动服务：

# 拉取Ollama镜像
docker pull ollama/ollama:latest

# 启动服务
docker-compose up -d

# 查看服务状态
docker-compose ps

# 查看日志（实时监控启动过程）
docker-compose logs -f ollama-qwq32b

服务启动后，你会看到类似这样的输出：

Creating ollama-qwq32b ... done
Creating ollama-webui  ... done

3. 拉取和配置QwQ-32B模型

服务启动后，我们需要拉取QwQ-32B模型。

3.1 拉取模型

进入Ollama容器内部拉取模型：

# 进入容器
docker exec -it ollama-qwq32b bash

# 在容器内拉取QwQ-32B模型
ollama pull qwq:32b

# 或者直接从宿主机执行
docker exec ollama-qwq32b ollama pull qwq:32b

模型拉取需要一些时间，因为QwQ-32B大约60GB。你可以通过查看日志来监控进度：

docker-compose logs -f ollama-qwq32b

3.2 验证模型是否可用

模型拉取完成后，验证一下是否成功：

# 列出所有可用模型
curl http://localhost:11434/api/tags

# 或者使用Ollama CLI
docker exec ollama-qwq32b ollama list

你应该能看到类似这样的输出：

{
  "models": [
    {
      "name": "qwq:32b",
      "modified_at": "2024-01-01T00:00:00Z",
      "size": 64424509440,
      "digest": "sha256:abc123..."
    }
  ]
}

3.3 测试模型推理

让我们用API测试一下模型是否正常工作：

# 创建一个测试请求
cat > test_request.json << 'EOF'
{
  "model": "qwq:32b",
  "prompt": "请用中文解释什么是机器学习",
  "stream": false
}
EOF

# 发送请求
curl http://localhost:11434/api/generate \
  -H "Content-Type: application/json" \
  -d @test_request.json

如果一切正常，你会收到模型的回复。

4. 配置健康检查与监控

在生产环境中，我们需要确保服务始终健康运行。

4.1 创建健康检查脚本

创建一个更全面的健康检查脚本：

cat > health_check.sh << 'EOF'
#!/bin/bash

# 健康检查脚本
set -e

# 检查Ollama服务是否响应
echo "检查Ollama服务状态..."
if curl -f http://localhost:11434/api/tags > /dev/null 2>&1; then
    echo "✓ Ollama服务正常"
else
    echo "✗ Ollama服务异常"
    exit 1
fi

# 检查模型是否可用
echo "检查QwQ-32B模型状态..."
MODEL_STATUS=$(curl -s http://localhost:11434/api/tags | grep -o "qwq:32b" || true)
if [ -n "$MODEL_STATUS" ]; then
    echo "✓ QwQ-32B模型已加载"
else
    echo "✗ QwQ-32B模型未找到"
    exit 1
fi

# 检查磁盘空间
echo "检查磁盘空间..."
DISK_USAGE=$(df -h / | awk 'NR==2 {print $5}' | sed 's/%//')
if [ "$DISK_USAGE" -lt 90 ]; then
    echo "✓ 磁盘空间充足: ${DISK_USAGE}%"
else
    echo "⚠ 磁盘空间紧张: ${DISK_USAGE}%"
fi

# 检查内存使用
echo "检查内存使用..."
MEM_USAGE=$(free -m | awk 'NR==2 {printf "%.1f", $3*100/$2}')
echo "内存使用率: ${MEM_USAGE}%"

echo "所有检查通过！服务运行正常。"
EOF

# 给脚本执行权限
chmod +x health_check.sh

4.2 设置定时健康检查

我们可以使用cron来定时执行健康检查：

# 编辑cron任务
crontab -e

添加以下内容（每5分钟检查一次）：

*/5 * * * * /home/你的用户名/ollama-qwq32b/health_check.sh >> /home/你的用户名/ollama-qwq32b/health_check.log 2>&1

4.3 配置日志监控

为了更好地监控服务，我们可以配置日志轮转和监控：

# 创建日志监控脚本
cat > log_monitor.sh << 'EOF'
#!/bin/bash

# 日志监控脚本
LOG_FILE="/home/你的用户名/ollama-qwq32b/health_check.log"
ERROR_LOG="/home/你的用户名/ollama-qwq32b/error_alerts.log"

# 检查最近5分钟的健康检查日志
if tail -n 20 "$LOG_FILE" 2>/dev/null | grep -q "✗\|异常\|exit 1"; then
    ERROR_MSG=$(tail -n 20 "$LOG_FILE" | grep -A2 -B2 "✗\|异常\|exit 1")
    echo "[$(date)] 服务异常检测到错误：" >> "$ERROR_LOG"
    echo "$ERROR_MSG" >> "$ERROR_LOG"
    echo "---" >> "$ERROR_LOG"
    
    # 这里可以添加发送警报的代码，比如发送邮件或Slack通知
    # echo "服务异常，请检查！" | mail -s "Ollama服务警报" your-email@example.com
fi

# 检查容器状态
CONTAINER_STATUS=$(docker ps --filter "name=ollama-qwq32b" --format "{{.Status}}")
if [[ ! "$CONTAINER_STATUS" =~ "Up" ]]; then
    echo "[$(date)] 容器状态异常: $CONTAINER_STATUS" >> "$ERROR_LOG"
fi
EOF

chmod +x log_monitor.sh

5. 使用Web界面与API

5.1 使用Web界面

如果你在docker-compose.yml中启用了Web UI，可以通过浏览器访问：

http://你的服务器IP:3000

首次访问需要注册账号，注册后就可以在Web界面中使用QwQ-32B了。

5.2 使用API接口

Ollama提供了RESTful API，可以方便地集成到其他应用中：

# 示例：Python客户端
import requests
import json

class OllamaClient:
    def __init__(self, base_url="http://localhost:11434"):
        self.base_url = base_url
    
    def generate(self, prompt, model="qwq:32b", stream=False):
        """生成文本"""
        url = f"{self.base_url}/api/generate"
        data = {
            "model": model,
            "prompt": prompt,
            "stream": stream,
            "options": {
                "temperature": 0.7,
                "top_p": 0.9,
                "top_k": 40
            }
        }
        
        response = requests.post(url, json=data)
        return response.json()
    
    def chat(self, messages, model="qwq:32b"):
        """对话接口"""
        url = f"{self.base_url}/api/chat"
        data = {
            "model": model,
            "messages": messages,
            "stream": False
        }
        
        response = requests.post(url, json=data)
        return response.json()
    
    def list_models(self):
        """列出所有模型"""
        response = requests.get(f"{self.base_url}/api/tags")
        return response.json()

# 使用示例
if __name__ == "__main__":
    client = OllamaClient()
    
    # 测试生成
    result = client.generate("请解释人工智能的基本概念")
    print("生成结果:", result.get("response", ""))
    
    # 测试对话
    messages = [
        {"role": "user", "content": "你好，请介绍一下你自己"}
    ]
    chat_result = client.chat(messages)
    print("对话结果:", chat_result.get("message", {}).get("content", ""))

5.3 常用API端点

以下是Ollama的主要API端点：

端点 方法 描述 示例
/api/generate POST 生成文本 curl -X POST http://localhost:11434/api/generate -d '{"model": "qwq:32b", "prompt": "你好"}'
/api/chat POST 对话接口 curl -X POST http://localhost:11434/api/chat -d '{"model": "qwq:32b", "messages": [{"role": "user", "content": "你好"}]}'
/api/tags GET 列出模型 curl http://localhost:11434/api/tags
/api/show POST 显示模型信息 curl -X POST http://localhost:11434/api/show -d '{"name": "qwq:32b"}'
/api/pull POST 拉取模型 curl -X POST http://localhost:11434/api/pull -d '{"name": "qwq:32b"}'

6. 性能优化与问题排查

6.1 性能优化建议

根据你的硬件配置，可以调整以下参数来优化性能：

# 在docker-compose.yml的ollama-qwq32b服务中添加环境变量
environment:
  - OLLAMA_NUM_PARALLEL=4  # 并行处理数，根据CPU核心数调整
  - OLLAMA_MAX_LOADED_MODELS=2  # 最大加载模型数
  - OLLAMA_KEEP_ALIVE=24h  # 模型保持加载的时间

6.2 常见问题排查

问题1：模型加载慢或内存不足

# 查看容器资源使用情况
docker stats ollama-qwq32b

# 查看系统内存
free -h

# 如果内存不足，可以尝试使用量化版本
docker exec ollama-qwq32b ollama pull qwq:32b-q4_K_M

问题2：API请求超时

# 检查服务是否运行
docker-compose ps

# 查看服务日志
docker-compose logs ollama-qwq32b

# 测试API连通性
curl -v http://localhost:11434/api/tags

问题3：GPU无法使用

# 检查NVIDIA驱动
nvidia-smi

# 检查Docker GPU支持
docker run --rm --gpus all nvidia/cuda:11.0-base nvidia-smi

# 如果上述命令失败，需要安装NVIDIA Container Toolkit
# 参考：https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/install-guide.html

6.3 创建管理脚本

为了方便日常管理，创建一个管理脚本：

cat > manage.sh << 'EOF'
#!/bin/bash

case "$1" in
    start)
        echo "启动Ollama服务..."
        docker-compose up -d
        ;;
    stop)
        echo "停止Ollama服务..."
        docker-compose down
        ;;
    restart)
        echo "重启Ollama服务..."
        docker-compose restart
        ;;
    status)
        echo "服务状态："
        docker-compose ps
        echo -e "\n容器日志（最后20行）："
        docker-compose logs --tail=20 ollama-qwq32b
        ;;
    update)
        echo "更新服务..."
        docker-compose pull
        docker-compose up -d
        ;;
    backup)
        echo "备份模型数据..."
        tar -czf ollama_backup_$(date +%Y%m%d_%H%M%S).tar.gz ./ollama_data
        echo "备份完成"
        ;;
    *)
        echo "使用方法: $0 {start|stop|restart|status|update|backup}"
        exit 1
        ;;
esac
EOF

chmod +x manage.sh

使用方式：

./manage.sh start    # 启动服务
./manage.sh status   # 查看状态
./manage.sh stop     # 停止服务

7. 总结

通过本教程，我们完成了QwQ-32B模型的完整部署，包括：

  1. 环境准备：检查系统要求，安装必要的软件
  2. 服务部署：使用Docker Compose编排Ollama服务
  3. 模型管理：拉取和验证QwQ-32B模型
  4. 健康监控：配置健康检查和日志监控
  5. 接口使用：掌握Web界面和API的使用方法
  6. 运维管理：创建管理脚本，方便日常维护

QwQ-32B作为一款专注于推理的模型，在解决复杂问题、逻辑推理等方面表现出色。通过Docker Compose部署，我们不仅简化了安装过程，还增加了生产环境所需的健康检查和监控功能。

关键优势：

  • 一键部署：Docker Compose让部署变得简单
  • 生产就绪：健康检查、日志监控、自动重启
  • 易于扩展：可以轻松添加更多服务或模型
  • 资源隔离：Docker提供良好的环境隔离

后续建议：

  • 定期检查日志，监控服务健康状态
  • 根据实际使用情况调整资源限制
  • 考虑设置定期备份，防止数据丢失
  • 如果使用频繁，可以考虑配置负载均衡

现在，你已经拥有了一个稳定可靠的QwQ-32B推理服务，可以开始探索它在各种场景下的应用了。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。

Logo
码道开发者社区

码道开发者社区，聚焦华为云码道 CodeArts 代码智能体，沉淀 Agent、Skill、鸿蒙开发实战内容，供开发者查阅资料、交流技术、分享工程实践

更多推荐

cover

AI 已经能直接改设计稿了:Windows部署Penpot，接入Codex MCP实测

avatar 码道开发者社区

【AI 业务流架构师】AI 业务流架构师方法论：Agentic AI 范式转移与业务编排思维

2026 年，Anthropic CEO Dario Amodei 在 Code with Claude 大会上的一个判断广为流传：一个人运营一家十亿美元级公司的概率是 70%–80%。这句话听起来像科幻小说的设定，但它背后是一个正在发生的结构性变化——AI 把"执行"的成本压到了历史低点，同时把"编排"的价值推到了前台。这意味着我们需要一套新的思考框架，来回答两个问题：一个人如何拥有一个公司的产

avatar 码道开发者社区
cover

Codex CLI实战 从一句模糊需求到可执行可测试可验收的开发任务把“帮我优化一下”变成 Codex 能执行、团队能复核、测试能证明的工程任务

avatar 码道开发者社区