机器学习平台为常用的负载都提供了监控看板并预置了大量的监控指标，但仍然有可能无法满足部分用户的定制化需求，最为常见的有基于某些基础指标进行聚合得到新的指标。为解决这类问题，机器学习平台支持用户将监控数据归档至自身火山引擎账号下的托管 Prometheus 服务（VMP） ，归档后的数据用户能够自由查询及灵活使用。

• VMP。

1. 当前用户拥有 MLPlatformAdminAccess 的 IAM 策略（配置策略的方法详见权限管理）。

2. 当前账号下拥有 >=1 个 VMP 工作区。

   • 如果该账号下未创建过工作时，可能联系具备相关权限如 VMPFullAccess IAM 策略的用户前往 VMP 的控制台页面创建。

1. 前往机器学习平台的【全局配置】-【监控】模块，单击【授权】进入配置页面。

2. 启动监控归档的功能并将适当的 VMP 工作区配置为归档位置。

3. 提交表单后新创建的负载的监控数据将推送至对应的 VMP 工作区，用户即可实现数据的自由处理。

注意事项

1. 开启归档之前创建的自定义任务、在线服务的监控数据不会推送至 VMP，但是开发机关机再开机后可推送。
2. 修改归档位置后，旧的自定义任务、在线服务只会推送到旧的归档位置，开发机关机再开机后可推送到新的归档位置。

监控数据归档到用户的 VMP 后可以完整地查看各项指标，此外也可以利用这部分指标在 VMP 上配置告警。详细的指标和 label 列表详见下文中的指标及 label 说明。

VMP Explore 指标检索

1. 前往 VMP 的【Explore】模块，选择用作监控数据归档的工作区。

2. 在查询框内输入指标名称或 PromQL 查询语句。

3. 通过 label 和 values 还能做更细粒度的筛选。
   

自建 Grafana 监控看板

Grafana 是一个跨平台的开源度量分析和可视化工具，可以通过将采集的数据查询然后可视化的展示。具体操作步骤详见如何通过 Grafana 对监控数据指标搭建可视化看板——以配置GPU资源总量看板为例--机器学习平台-火山引擎。您可以通过火山引擎为您提供的镜像来部署 Grafana，也可以使用开源的镜像部署。部署 Grafana 的方法如下：

• 方法 1：在火山引擎容器服务 VKE 中部署 Grafana，详见VMP - 部署 Grafana。

• 方法 2：在火山引擎云服务器 ECS 中部署 Grafana。

  • 前往 ECS 创建实例并在实例中安装 Grafana。

  • 为 ECS 绑定公网 IP，并设置安全组规则：入方向规则中，允许 Grafana 端口（默认为3000）。

  • 在浏览器访问http://<公网IP>:<``Grafana 端口``>，初始用户名和密码都为admin。

  • 在 Grafana 设置中新增数据源，选择 Prometheus，填入 VMP 的 Basic Auth、Query URL（上述信息均可从 VMP 的工作区详情页面获得）。

通过 VMP 配置告警

因为所有监控数据已经推送到用户的 VMP 下，用户便能够通过编写 PromQL 查询语句灵活地配置告警规则，当机器学习平台的工作负载的监控指标出现异常时可以及时地发送告警消息给对应的告警联系群组。具体操作步骤详见创建告警规则。

PromQL检索示例

mlp 在 VMP 提供多个预置看板，详细的预置看板变量和PromQL查询语句介绍请参考MLP 在 VMP 的预置看板介绍。下面给出几个常用指标的检索示例。

• CPU 使用量。

irate(container_cpu_usage_seconds_total{name!=""}[5m])

• CPU 使用率。

irate(container_cpu_usage_seconds_total{name!=""}[5m])/on (pod,name) (container_spec_cpu_quota/1000/100)*100_spec_cpu_quota/1000/100)*100

• 显存利用率。

avg by(gpu, pod)(DCGM_FI_DEV_FB_USED{pod="%s"} / (DCGM_FI_DEV_FB_FREE{pod="%s"} + DCGM_FI_DEV_FB_USED{pod="%s"}) * 100)

• 查看每个自定义任务的平均 GPU 利用率（因为自定义任务中一个任务会有多个 pod，需要按任务 id 聚合一下）。

avg (DCGM_FI_DEV_GPU_UTIL * ON(pod) group_left(mlp_customtask) mlp_customtask_instance_info) by (mlp_customtask)

• 实现 10 天内某个队列（q-20211224114108-78qvl）各个自定义任务的平均利用率（各任务生命周期内的平均利用率）。

avg_over_time(
    (avg (
        DCGM_FI_DEV_GPU_UTIL * ON(pod) group_left(mlp_customtask) mlp_customtask_instance_info{mlp_resource_queue="q-20211224114108-78qvl"}) by (mlp_customtask)) 
[10d:30s])

• 某个任务（t-20230519123538-vr2nl）10 天内的 GPU 使用时间。
  • 该任务使用了多少张 GPU 则监控图表中展示多少条数据曲线。

count_over_time(DCGM_FI_DEV_GPU_UTIL AND ON(pod) mlp_customtask_instance_info{mlp_customtask="t-20230519123538-vr2nl"} [10d:1m])

• 按照任务的维度统计过去 5 天内每种 GPU 型号的总使用卡时。
  • 查询语句解析：

    • count_over_time()：计算指定时间范围内的样本数量。在该示例中用于计算过去 1 天每分钟内的样本数量。

    • DCGM_FI_DEV_GPU_UTIL: 该示例中选择了 DCGM_FI_DEV_GPU_UTIL 指标用于计算使用时间

    • * ON(pod) group_left(mlp_customtask) mlp_customtask_instance_info: 该示例中要筛选自定义任务，需要将DCGM指标和自定义任务实例指标按照相同pod进行匹配。由于单个pod可能有多张卡, 需要使用group_left操作进行多对一匹配, 并将自定义任务IDmlp_customtask传递给最终结果。详细的匹配规则请参阅PromQL官方文档。

    • sum by (mlp_customtask, modelName): 对于相同 mlp_customtask和 modelName 标签值的数据点，将它们的计数值相加得到一个总数。

      • 其中 modelName 为 DCGM 自带的标签，指 GPU 型号。

sum by (mlp_customtask, modelName) (count_over_time((DCGM_FI_DEV_GPU_UTIL * ON(pod) group_left(mlp_customtask) mlp_customtask_instance_info)[5d:1m]))

RDMA整机监控指标

指标描述

标签描述

公共标签

DCGM常见指标

指标描述

标签描述

公共标签

cAdvisor常见指标

指标描述

标签描述

公共标签

资源组指标

指标描述

标签描述

公共标签

专有标签

队列指标

指标描述

标签描述

公共标签

专有标签

工作负载指标

指标描述

标签描述