You need to enable JavaScript to run this app.
导航
E-MapReduce
  • 文档首页
    • /E-MapReduce/产品简介/发行版本/EMR on VKE/版本说明/EMR-VKE-1.8.0发布说明
EMR-VKE-1.8.0发布说明
最近更新时间：2025.01.02 14:40:22首次发布时间：2025.01.02 14:40:22
我的收藏

环境说明

系统环境

环境

语言

版本

OS

velinux1u3 SMP Debian 5.4.250-2

OS

Java

1.8.0_351

Spark

Java

1.8.0_351

Spark

Scala

2.12.18

Ray

Java

1.8.0_351

Celeborn

Java

1.8.0_351

Celeborn

Scala

2.12.15

应用程序版本

软件

版本

Spark

3.5.1

Ray

2.39.0

Kuberay

1.1.1

Celeborn

0.5.0

Hive

3.1.3

Zookeeper

3.7.1

Kyuubi

1.8.1

EMR-VKE-1.8.0发布说明

新增功能

  • 新增弹性伸缩功能
    EMR虚拟集群支持容器服务(VKE)的节点弹性伸缩能力，当节点池开启用弹性伸缩时，节点上的Pod因为资源不足处于Pending状态时触发自动扩容动作。用户通过EMR控制台可以查看和修改节点池弹性伸缩启用状态，查看扩缩容记录。弹性伸缩在后续的版本中将支持使用弹性容器实例VCI作为弹性算力。
  • 弹性容器实例VCI调度Spark和Ray作业开箱即用
    EMR-VKE-1.7.0及之前版本允许用户在创建虚拟集群时选择使用弹性容器实例（VCI）调度Spark作业。从EMR-VKE-1.8.0开始，允许用户在创建虚拟集群时选择使用VCI调度Ray作业和Spark作业。使用VCI调度Spark和Ray作业，无需预留固定资源，可以大幅减少资源成本。
  • OpenAPI支持作业的查看和提交
    从EMR-VKE-1.8.0开始，允许用户通过OpenAPI的方式提交和查看Spark和Ray作业。用户在工作流中通过EMR OpenAPI提交作业后，可通过EMR控制台监控和分析运行中和已完成的作业。

更新、增强和解决的问题

  • RayHistoryServer支持查看运行中作业
    EMR 3.13.0版本前的RayHistoryServer仅支持查看已完成的任务，如需查看运行中的Ray任务，须通过访问链接中的Ray Dashboard。EMR 3.13.0版本开始，允许用户通过RayHistoryServer同时查看运行中和已完成的任务。

遗留问题

  • 创建EMR虚拟集群时选择新建VKE资源，暂不支持部署Kyuubi和Zookeeper服务，待后续版本支持。

组件说明

组件

描述

Celeborn Master

维护Celeborn集群整体状态、活跃Shuffle和高可用

Celeborn Worker

接收、存储和服务Shuffle 数据

Spark Operator

用于在 Kubernetes 集群上部署和管理 Spark 应用程序

Spark History Server

Spark的Web UI组件，用于展示已完成的 Spark 作业的详细视图，包括作业的执行时间线、任务详情和资源使用情况

Ray Operator

用于在 Kubernetes 集群上部署和管理 Ray 应用程序

HiveMetastore

Hive元数据存储服务

Kyuubi

分布式、多租户的大数据网关，用于在Lakehouse上提供无服务器SQL服务

Volcano

提供丰富的调度策略和优化机制，支持机器学习、大数据、科学计算等多种工作负载

Zookeeper

用于维护配置信息、命名、提供分布式同步的集中式服务