说明
作业管理当前为白名单邀测阶段,提供 EMR on VKE 产品形态下的作业信息查看功能。欢迎试用,并提出宝贵建议。更多功能和产品形态的支持以及该模块的正式发布敬请期待。
在 作业管理 模块中,可以查看当前主账号下所有 EMR 集群的作业信息。
操作步骤
- 在火山引擎 E-MapReduce 控制台,点击左边栏的 作业管理 > 作业列表 项目。
- 页面会展示出当前主账号下各个 EMR 集群的近 15 天内的作业列表。表中的各列包括:
- 作业名称 / ID:分两行展示。第一行为 作业名称,第二行为 作业 ID。可以点击 作业名称链接,进入 作业详情 页面,查看单个作业的详细信息。在 作业详情 页面,除了可以看到作业列表页面中展示的信息外,还包含如下信息:
- 作业的 执行引擎。
- 作业运行所在的 EMR 集群 ID。
- 作业运行所在的 EMR 集群的 集群详情页 的跳转链接。
- Web UI 的具体名称,如 Spark History Server、Ray Dashboard、Ray History Server(如已安装)等。
- 作业类型:如 Spark、Ray 等。
- 状态:包括 RUNNING、SUCCEEDED、FAILED 等。
- 资源类型:作业运行所在的 EMR 集群的产品形态。如 EMR on VKE 等。
- 资源名称:作业运行所在的 EMR 集群名称。
- Allocated CPU (vCPU):为作业分配的 CPU 核数总和(如在作业提交时有明确指定)。
- Allocated 内存 (GiB):为作业分配的内存总和(如在作业提交时有明确指定),单位为 GiB,即2³⁰字节。
- 提交时间:作业提交时间。
- 结束时间:作业运行结束时间。
- 耗时:作业运行总耗时或截止到当前的耗时。
- 操作:
- Web UI:支持跳转到对应的 Web UI,如 Dashboard、History Server 页面等。如果 Web UI 不可访问(如 VKE 集群未配置 Ingress,或 EMR 集群已释放等情况),则 Web UI 链接置灰。
- 您可以根据 作业名称 / ID、状态、提交时间范围、资源名称 / ID 进行作业列表 搜索。
- 您可以根据 作业类型、资源类型 对作业列表进行 筛选。
- 您可以根据 提交时间、结束时间 对作业列表进行 排序。支持升序、降序。
- 作业列表采用 分页 方式展示,您可以在作业列表页面右下角选择每页展示的作业条目数,并跳转到指定页码。
- 点击作业列表页面右上角的 刷新 按钮,可以重新加载作业列表,以将展示的内容刷新为当前最新数据。
说明
- 目前只支持 EMR on VKE 产品形态下的 Spark 和 Ray 类型作业的查看。
- Spark 类型的作业,支持查看通过 Spark Operator 以及原生的 spark-submit、spark-shell、spark-sql 等方式以 cluster 模式或 client 模式提交的作业。
- Ray 类型的作业,支持查看通过 KubeRay Operator 提交的 RayJob 自定义资源类型的作业,以及在 RayCluster 中提交的 Ray 作业。
- 当前支持 15 天内提交的作业的信息查看。
- 支持当前主账号下所有运行中的和历史的 EMR 集群的运行中的和历史的作业信息查看。
- 当前作业信息采集周期为 1 分钟。从提交作业到可以在作业列表中观测到,可能存在一定时延。