Windows右键菜单管理神器：ContextMenuManager完全使用指南
2026/1/15 6:11:35
Qwen2.5监控体系搭建：GPU使用率可视化实战
1. 引言
1.1 业务场景描述
随着大模型在实际生产环境中的广泛应用，如何高效监控其运行状态成为保障服务稳定性的关键环节。本文基于Qwen2.5-7B-Instruct模型的部署实践，聚焦于构建一套完整的 GPU 使用率监控与可视化系统。该模型作为通义千问系列中性能强劲的指令调优版本，在本地单卡 RTX 4090 D 上运行时对显存和计算资源有较高要求，因此实时掌握其资源消耗情况尤为必要。
当前部署环境为 CSDN 提供的 GPU 容器实例，通过app.py启动 Gradio Web 服务对外提供推理接口。然而，默认情况下缺乏对 GPU 利用率、显存占用等核心指标的可视化能力，导致难以判断模型负载是否合理、是否存在性能瓶颈或资源浪费。
1.2 痛点分析
现有部署方案存在以下问题： - 缺乏图形化监控界面，需手动执行命令查看 GPU 状态 - 无法长期记录历史数据以进行趋势分析 - 多用户并发访问时难以定位资源异常波动原因 - 运维人员无法远程实时感知服务健康状况
1.3 方案预告
本文将介绍一种轻量级、可落地的解决方案：利用Prometheus + Node Exporter + Grafana构建监控体系，并结合 Python 脚本采集nvidia-smi数据实现 GPU 使用率的自动抓取与展示。最终目标是建立一个动态仪表盘，实时呈现 GPU 利用率、显存占用、温度等关键指标，提升运维效率与系统可观测性。
2. 技术方案选型
2.1 可行方案对比
面对 GPU 监控需求，业界存在多种技术路径。以下是三种常见方案的对比分析：
| 方案 | 优点 | 缺点 | 适用场景 |
|---|---|---|---|
| nvidia-smi + 自定义脚本 | 轻量、无需额外依赖、直接获取原始数据 | 需自行处理数据解析与存储 | 小型项目、快速验证 |
| DCGM (Data Center GPU Manager) | 支持细粒度指标、企业级功能完善 | 安装复杂、资源开销大 | 大规模集群、数据中心 |
| Prometheus + Node Exporter + Custom Metrics | 开源生态成熟、支持长期存储与告警、易于集成 Grafana | 需配置中间层采集器 | 中小型部署、可视化需求强 |
2.2 最终选择：Prometheus + 自定义采集器
综合考虑部署环境限制（容器权限、资源有限）及开发成本，本文采用自定义 Python 脚本 + Prometheus Pushgateway + Grafana的组合方式。该方案具备如下优势： - 兼容性强：适用于大多数 Linux 环境下的 NVIDIA 显卡 - 扩展灵活：后续可轻松接入更多监控维度（如请求延迟、吞吐量） - 成本低廉：完全基于开源工具链，无商业授权费用 - 快速集成：可在现有部署结构上增量添加，不影响主服务运行
3. 实现步骤详解
3.1 环境准备
首先确认基础依赖已安装。根据提供的依赖版本信息，确保系统中已安装必要的 Python 包：
pip install torch==2.9.1 transformers==4.57.3 gradio==6.2.0 accelerate==1.12.0此外，还需安装用于监控的数据采集相关库：
pip install prometheus_client psutil GPUtil注意：
GPUtil是一个轻量级 Python 库，封装了nvidia-smi命令调用，便于程序化获取 GPU 状态。
3.2 创建 GPU 指标采集脚本
新建文件gpu_exporter.py，用于定期采集 GPU 使用率并暴露给 Prometheus。
# gpu_exporter.py import time import GPUtil from prometheus_client import start_http_server, Gauge # 定义 Prometheus 指标 GPU_UTILIZATION = Gauge('gpu_utilization_percent', 'GPU Utilization (%)', ['gpu_id']) GPU_MEMORY_USED = Gauge('gpu_memory_used_mb', 'GPU Memory Used (MB)', ['gpu_id']) GPU_MEMORY_TOTAL = Gauge('gpu_memory_total_mb', 'GPU Memory Total (MB)', ['gpu_id']) GPU_TEMPERATURE = Gauge('gpu_temperature_celsius', 'GPU Temperature (°C)', ['gpu_id']) def collect_metrics(): """采集GPU指标并更新到Prometheus""" gpus = GPUtil.getGPUs() for gpu in gpus: GPU_UTILIZATION.labels(gpu_id=gpu.id).set(gpu.load * 100) GPU_MEMORY_USED.labels(gpu_id=gpu.id).set(gpu.memoryUsed) GPU_MEMORY_TOTAL.labels(gpu_id=gpu.id).set(gpu.memoryTotal) GPU_TEMPERATURE.labels(gpu_id=gpu.id).set(gpu.temperature) if __name__ == '__main__': # 启动HTTP服务器，暴露metrics接口 start_http_server(9101) print("GPU exporter started on http://localhost:9101/metrics") while True: collect_metrics() time.sleep(5) # 每5秒采集一次代码解析：
- 使用
prometheus_client提供的Gauge类型记录瞬时值 start_http_server(9101)在端口 9101 暴露/metrics接口GPUtil.getGPUs()获取所有 GPU 设备信息- 每隔 5 秒刷新一次数据，保证监控实时性
3.3 修改启动脚本集成监控组件
编辑原有的start.sh文件，使其同时启动主服务和监控服务。
#!/bin/bash # start.sh # 启动GPU监控服务（后台运行） nohup python gpu_exporter.py > gpu_exporter.log 2>&1 & # 等待监控服务就绪 sleep 3 # 启动主应用服务 python app.py赋予执行权限：
chmod +x start.sh3.4 配置 Prometheus 抓取任务
在 Prometheus 配置文件prometheus.yml中添加新的 job：
scrape_configs: - job_name: 'qwen25-gpu' static_configs: - targets: ['<your-container-ip>:9101'] scrape_interval: 10s替换
<your-container-ip>为实际容器 IP 地址。若在同一主机运行 Prometheus，则可用localhost。
重启 Prometheus 使配置生效。
3.5 部署 Grafana 可视化面板
启动 Grafana 服务（可通过 Docker 快速部署）：
bash docker run -d -p 3000:3000 --name=grafana grafana/grafana-enterprise浏览器访问
http://localhost:3000，使用默认账号admin/admin登录。添加 Prometheus 数据源，指向你的 Prometheus 服务地址。
创建新 Dashboard，添加 Panel 查询 GPU 指标：
- 示例查询语句：
promql gpu_utilization_percent{gpu_id="0"} 设置图表类型为“Time series”，时间范围为最近 1 小时
添加多个 Panel 分别展示：
- GPU 利用率曲线
- 显存使用占比（可用
(gpu_memory_used_mb / gpu_memory_total_mb) * 100计算） - 温度变化趋势
4. 实践问题与优化
4.1 常见问题及解决方案
问题一：nvidia-smi权限不足
在某些受限容器环境中，nvidia-smi可能无法正常执行。
解决方法： - 确保容器启动时挂载了 NVIDIA 驱动设备 - 使用--gpus all参数运行容器 - 检查/dev/nvidiactl和/dev/nvidia-uvm是否存在
问题二：Prometheus 抓取失败
提示context deadline exceeded或连接拒绝。
排查步骤： - 检查目标机器防火墙设置 - 使用curl http://<target>:9101/metrics验证接口可达性 - 确认 Prometheus 配置中的 target 地址正确
问题三：Grafana 图表无数据
可能原因为： - 数据源未正确绑定 - 查询语句拼写错误 - 时间范围选择不当（如选择了未来时间）
4.2 性能优化建议
- 降低采集频率：对于非高精度监控场景，可将采集间隔从 5 秒调整为 10~15 秒，减少系统开销。
- 启用压缩传输：在 Prometheus 中开启
enable_compression: true减少网络流量。 - 限制历史数据保留时间：通过
--storage.tsdb.retention.time=7d控制本地存储周期，避免磁盘溢出。 - 异步日志输出：将
gpu_exporter.py的日志重定向至独立文件，避免干扰主服务日志。
5. 总结
5.1 实践经验总结
本文围绕 Qwen2.5-7B-Instruct 模型的实际部署环境，成功实现了 GPU 使用率的可视化监控体系。通过引入 Prometheus 生态，不仅解决了传统命令行监控的局限性，还为后续构建自动化告警机制打下基础。
核心收获包括： - 掌握了基于GPUtil和prometheus_client的轻量级 GPU 指标采集方法 - 学会了如何将监控模块无缝集成进已有 AI 服务启动流程 - 实践了从数据采集 → 存储 → 可视化的完整监控闭环构建过程
5.2 最佳实践建议
- 始终保留原始日志：即使有了可视化系统，也应持续记录
server.log和gpu_exporter.log，以便故障回溯。 - 设置阈值告警：当 GPU 利用率持续高于 90% 或温度超过 80°C 时触发通知，预防硬件损坏。
- 定期审查监控数据：结合业务高峰期分析资源使用模式，为模型优化或扩容提供依据。
获取更多AI镜像
想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。