您可以使用托管 Prometheus 服务来监控自建集群集群节点中的 GPU，本文为您介绍配置的步骤和注意事项。 ## 背景信息 Kubernetes 集群中，允许使用 dcgm\-exporter 组件暴露 GPU 的 metrics。因此，您可以使用托管 Prometheus 来监控自建集群内节点中的 GPU 显卡的状态信息。 ## 前提条件 * 已在火山引擎注册并开通 VMP 服务。 * 已创建托管 Prometheus 工作区，详情请参见 [创建工作区](https://www.volcengine.com/docs/6731/106522)。 * 已创建自建 Kubernetes 集群，且集群中存在 GPU 节点。同时： * 自建集群的 Kubernetes 版本为 v1.20～v1.24，其他版本的集群可能存在兼容性问题。 * 保证自建集群能够访问公网。如不能，请参见 [无公网环境如何下载并部署采集器](https://www.volcengine.com/docs/6731/775509#%E6%97%A0%E5%85%AC%E7%BD%91%E7%8E%AF%E5%A2%83%E5%A6%82%E4%BD%95%E4%B8%8B%E8%BD%BD%E5%B9%B6%E9%83%A8%E7%BD%B2%E9%87%87%E9%9B%86%E5%99%A8)。 * 自建集群能够访问托管 Prometheus 工作区。详情请参见 [使用代理访问工作区](https://www.volcengine.com/docs/6731/1158700) 或 [使用云企业网访问工作区](https://www.volcengine.com/docs/6731/775509)。 * 已在集群中正确创建 ServiceMonitor 或 PodMonitor 的 CRD 资源，详情请参见 [如何在集群中创建 ServiceMonitor 等 CRD 资源？](https://www.volcengine.com/docs/6731/651350)。 * 完成本地环境（Linux/Mac）配置。包括： * 在本地环境中下载并安装最新版本的 kubectl 工具，详情请参见 [安装和设置 kubectl](https://kubernetes.io/docs/tasks/tools/)。 * 在本地环境中使用 kubectl 正确连接自建集群。 * 在本地环境中正确安装 wget、echo、curl 和 sed 等命令行工具。 ## 操作步骤 ### 步骤一：在集群中安装 dcgm\-exporter 在自建集群中安装 dcgm\-exporter 组件，详情请参见 [官网文档](https://github.com/NVIDIA/dcgm-exporter)。 ### 步骤二：部署采集器 1. 在本地环境中下载脚本，详情请参见 [获取脚本](https://www.volcengine.com/docs/6731/173989)。 2. 使用 kubectl 连接自建集群。 3. 执行以下命令，在自建集群中部署 VM Agent 采集器。 ```bash ./install.sh \ --agent vmagent \ # 采集器类型。 --region cn-beijing \ # VMP 工作区所在地域。 --namespace volcano-metrics \ # 部署采集器的命名空间。 --remote-write-url http://vmp-test.com/workspaces/b762e1a3-37***/api/v1/write \ # VMP 工作区的 URL 地址。其中域名需要修改为自定义域名。 --basic-auth-username username-demo \ # VMP 工作区 Basic Auth 认证模式下的认证用户名。 --basic-auth-password password-demo # VMP 工作区 Basic Auth 认证模式下的认证密码。 ``` ### 步骤三：配置采集规则在自建集群中使用 ServiceMonitor 或 PodMonitor 配置采集规则，本文以 ServiceMonitor 为例，配置示例如下。 ```yaml apiVersion: monitoring.coreos.com/v1 kind: ServiceMonitor metadata: name: gpu-discover # 配置采集规则名称 namespace: default # 配置命名空间。不要求与采集器或 exporter 在相同空间 spec: endpoints: - port: metrics # 配置 service.yaml 中 Port 的 name 字段的值 relabelings: # 配置指标的 relabel。如没有需求，可省略 - targetLabel: environment action: replace # 这个例子中我们添加一个固定 label:environment="Production" replacement: Production namespaceSelector: matchNames: - kube-system # 通过命名空间进行筛选，配置为 exporter 所在的命名空间。 selector: matchLabels: app.kubernetes.io/name: dcgm-exporter # 使用标签选择采集对象，配置为 service.yaml 中的 Label 字段值。 ```

说明

更多集群中服务发现的配置方式，请参见服务发现。

## 结果验证登录 Grafana ，使用 GPU 相关的 PromQL 语句创建 GPU 相关大盘，可以正常看到 GPU 监控信息。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_98b35d2fb5ded73f67c1dd5d187ab9f5.png)

说明

GPU 相关的 PromQL 语句，请参见 DCGM 常见指标。