容器服务支持监控集群的 AI 资源，即 GPU 资源、RDMA 资源的状态。本文为您介绍如何配置 AI 资源观测。

使用限制

• 仅支持 NVIDIA GPU 模式下，采集节点和 Pod 的 RDMA 指标。不支持 mGPU 模式。
• 共享（shared）模式下，仅上报节点的 RDMA 指标。
• 独占（exclusive）模式下，仅上报 Pod 的 RDMA 指标。

前提条件

• 已开启云原生观测功能，详情请参见 开启观测。
• 已开启容器服务观测功能，详情请参见 容器服务观测。
• 已安装对应的组件，包括：
  • GPU 观测：已安装 nvidia-device-plugin 组件，并同步安装了 dcgm-exporter 插件，详情请参见 安装组件。
  • mGPU 观测：已安装 mgpu 组件，并同步安装了 mgpu-exporter 插件，详情请参见 安装组件。
  • RDMA 观测：已安装 rdma-device-plugin 组件，详情请参见 安装组件。
• prometheus-agent 组件已经升级到 v2.2.0 及以上版本。详情请参见 组件发布记录。

操作步骤

步骤一：开启观测

1. 登录 容器服务控制台。
2. 在左侧导航栏单击 集群，找到目标集群，单击集群名称。
3. 在集群管理页面的左侧导航栏中，单击 观测配置，并选择 基础观测 页签。
4. 选择 AI 资源 卡片，单击 启用，开启集群 AI 资源观测。
   
5. 系统自动检查开启观测所需的必要条件。包括：工作区配置、组件状态等。
   
6. 单击 开启，开启 AI 资源观测。

步骤二：配置采集规则

观测功能开启后，您可以配置采集规则，选择需要采集的目标组件、具体指标项及采集间隔。可以根据实际需求丢弃一些不用的指标。

1. 在集群管理页面的左侧导航栏中，单击 观测配置，并选择 基础观测 页签。
2. 选择 AI 资源 卡片，单击 编辑配置 并选择 指标 页签，配置采集规则，并选择具体的采集指标。
   • 在组件列表 操作 列，单击开关，开启或关闭组件的采集规则。当关闭组件的采集规则时，系统不会采该集组件的所有指标。
     
   • 单击组件列表 操作 栏中的 ，支持选择或丢弃组件的具体指标，并配置面向该组件的采集间隔。
     • 在 采集间隔 中，选择该组件指标的采集间隔。不同组件支持的采集间隔不同。
     • 在 指标列表 中，勾选指标，则采集该指标。取消勾选，则丢弃该指标。单击 全部、基础指标 或 其他指标 页签，允许基于指标类型对指标项进行筛选。
       

       说明

       • 减小指标采集间隔，会增加单位时间内上报的指标数量，可以提升监控精度。但会增加托管 Prometheus 标准版工作区的费用。增加指标采集间隔，会减少单位时间内上报的指标数量，可以减少托管 Prometheus 标准版工作区的费用，但会降低监控精度。请根据实际需要配置。
       • 云产品的指标类型分为 基础指标 和 其他指标，不同类型指标的计费方式不同，详情请参见 托管 Prometheus 计费方式。
3. 单击 确认，完成配置。

步骤三：配置告警

容器服务集群基于托管 Prometheus 产品的告警中心功能，允许一键开启集群告警能力，并使用告警模板快速配置告警规则。

1. 在集群管理页面的左侧导航栏中，单击 观测配置，并选择 基础观测 页签。

2. 选择 AI 资源 卡片，单击 编辑配置 并选择 告警 页签，配置告警的相关参数。
   

   配置项	说明
   告警模版	勾选需要的告警模版，允许多选。
   告警聚合策略	在下拉菜单中选择告警聚合策略。详情请参见 创建告警聚合策略。
   告警通知策略	在下拉菜单中选择告警通知策略。系统会使用通知策略中配置的告警等级和联系人组，将告警发送给指定的联系人。详情请参见 创建告警通知策略。

3. 单击 确定，完成配置。

观测看板

集群 GPU 监控

集群 GPU 监控看板展示了集群纬度的 GPU 监控信息，包括：集群总 GPU 数、已分配 GPU 数、已使用 GPU 数等。您可以从该看板中了解整个集群的 GPU 监控信息。支持设置查询的时间段，并指定刷新方式（手动刷新、自动刷新）。

1. 在集群管理页面的左侧导航栏中，选择 监控中心 > 监控看板。
2. 在左侧看板列表中选择 GPU 监控 > 集群 GPU 监控，即可查看监控看板。

该看板的指标清单如下表所示。

GPU 实例监控

GPU 实例监控看板展示了 GPU 卡实例纬度的 GPU 监控信息，包括：GPU 利用率、GPU 使用显存、GPU 温度、GPU 功耗等。您可以从该看板中了解指定 GPU 卡的监控信息。支持设置查询的时间段，并指定刷新方式（手动刷新、自动刷新）。

1. 在集群管理页面的左侧导航栏中，选择 监控中心 > 监控看板。
2. 在左侧看板列表中选择 GPU 监控 > GPU 实例监控，即可查看监控看板。

该看板的指标清单如下表所示。

容器组 GPU 监控

容器组 GPU 监控看板展示了容器组纬度的 GPU 监控信息，包括：GPU 使用率、GPU 显存使用率、GPU 显存用量等。您可以从该看板中了解指定容器组的 GPU 监控信息。支持设置查询的时间段，并指定刷新方式（手动刷新、自动刷新）。

1. 在集群管理页面的左侧导航栏中，选择 监控中心 > 监控看板。
2. 在左侧看板列表中选择 GPU 监控 > 容器组 GPU 监控，即可查看监控看板。

该看板的指标清单如下表所示。

节点 GPU 监控

节点 GPU 监控看板展示了集群节点的 GPU 监控信息，包括：节点资源使用情况、节点 GPU 使用详情、GPU 利用率、GPU 使用现存等。您可以从该看板中了解指定节点的 GPU 监控信息。支持设置查询的时间段，并指定刷新方式（手动刷新、自动刷新）。

1. 在集群管理页面的左侧导航栏中，选择 监控中心 > 监控看板。
2. 在左侧看板列表中选择 GPU 监控 > 节点 GPU 监控，即可查看监控看板。
   • 在 节点资源使用情况 列表中，单击选择具体的节点，可以查看指定节点的监控信息。
   • 在 节点 GPU 使用详情 列表中，单击选择具体的 GPU 卡，可以查看指定 GPU 卡的监控信息。

该看板的指标清单如下表所示。

用户 GPU 监控

用户 GPU 监控看板展示了展示了团队维度的 AI 训练监控信息。包括：团队训练任务数、团队 GPU worker 数、团队训练任务 GPU 利用率、团队训练任务异常 Xid 等。您可以从该看板中了解整个团队的 GPU 监控信息。支持设置查询的时间段，并指定刷新方式（手动刷新、自动刷新）。

1. 在集群管理页面的左侧导航栏中，选择 监控中心 > 监控看板。
2. 在左侧看板列表中选择 GPU 监控 > 用户 GPU 监控，即可查看监控看板。
   • 在 团队训练任务概况 列表中，单击选择具体的团队，可以查看指定团队的监控信息。
   • 在 团队成员训练任务概况 列表中，单击选择具体的团队成员，可以查看指定团队成员的监控信息。

rdma-device-plugin 监控

rdma-device-plugin 组件的指标清单如下表所示。

rdma-device-plugin 组件的指标中自定义了部分标签，您可以使用这些标签对指标进行筛选和查看。常用指标标签说明如下表所示。

node-exporter 监控

node-exporter 采集的 RDMA 指标清单，请参见 官方文档。您可以在 Explore 中，通过node_infiniband_前缀查询这些指标。

查看指标

您可以使用托管 Prometheus 的 Explore 功能来快速查询和展示指标数据。详情请参见 指标查询。