您可以使用托管 Prometheus 服务来监控自建集群集群节点中的 GPU，本文为您介绍配置的步骤和注意事项。

背景信息

Kubernetes 集群中，允许使用 dcgm-exporter 组件暴露 GPU 的 metrics。因此，您可以使用托管 Prometheus 来监控自建集群内节点中的 GPU 显卡的状态信息。

前提条件

• 已在火山引擎注册并开通 VMP 服务。
• 已创建托管 Prometheus 工作区，详情请参见 创建工作区。
• 已创建自建 Kubernetes 集群，且集群中存在 GPU 节点。同时：
  • 自建集群的 Kubernetes 版本为 v1.20～v1.24，其他版本的集群可能存在兼容性问题。
  • 保证自建集群能够访问公网。如不能，请参见 无公网环境如何下载并部署采集器。
  • 自建集群能够访问托管 Prometheus 工作区。详情请参见 使用代理访问工作区 或 使用云企业网访问工作区。
  • 已在集群中正确创建 ServiceMonitor 或 PodMonitor 的 CRD 资源，详情请参见 如何在集群中创建 ServiceMonitor 等 CRD 资源？。
• 完成本地环境（Linux/Mac）配置。包括：
  • 在本地环境中下载并安装最新版本的 kubectl 工具，详情请参见 安装和设置 kubectl。
  • 在本地环境中使用 kubectl 正确连接自建集群。
  • 在本地环境中正确安装 wget、echo、curl 和 sed 等命令行工具。

操作步骤

步骤一：在集群中安装 dcgm-exporter

在自建集群中安装 dcgm-exporter 组件，详情请参见 官网文档。

步骤二：部署采集器

1. 在本地环境中下载脚本，详情请参见 获取脚本。
2. 使用 kubectl 连接自建集群。
3. 执行以下命令，在自建集群中部署 VM Agent 采集器。

./install.sh \
--agent vmagent \ # 采集器类型。
--region cn-beijing \ # VMP 工作区所在地域。
--namespace volcano-metrics \ # 部署采集器的命名空间。
--remote-write-url http://vmp-test.com/workspaces/b762e1a3-37***/api/v1/write \ # VMP 工作区的 URL 地址。其中域名需要修改为自定义域名。
--basic-auth-username username-demo \ # VMP 工作区 Basic Auth 认证模式下的认证用户名。
--basic-auth-password password-demo  # VMP 工作区 Basic Auth 认证模式下的认证密码。

步骤三：配置采集规则

在自建集群中使用 ServiceMonitor 或 PodMonitor 配置采集规则，本文以 ServiceMonitor 为例，配置示例如下。

apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  name: gpu-discover # 配置采集规则名称
  namespace: default # 配置命名空间。不要求与采集器或 exporter 在相同空间
spec:
  endpoints:
  - port: metrics # 配置 service.yaml 中 Port 的 name 字段的值
    relabelings: # 配置指标的 relabel。如没有需求，可省略
    - targetLabel: environment 
      action: replace # 这个例子中我们添加一个固定 label:environment="Production"
      replacement: Production
  namespaceSelector:
    matchNames:
    - kube-system # 通过命名空间进行筛选，配置为 exporter 所在的命名空间。
  selector:
    matchLabels:
      app.kubernetes.io/name: dcgm-exporter # 使用标签选择采集对象，配置为 service.yaml 中的 Label 字段值。

结果验证

登录 Grafana ，使用 GPU 相关的 PromQL 语句创建 GPU 相关大盘，可以正常看到 GPU 监控信息。