创建EMR虚拟集群时支持新建VKE集群

EMR-VKE-1.7.0及之后版本支持创建EMR虚拟集群时直接新建VKE集群，对算法工程师或无离在线混合部署需求的用户而言，减少了创建EMR虚拟集群的步骤和复杂度。

华北2(北京）、华东2(上海）、亚太东南(柔佛)、华南1（广州）

提供更详细的操作日志

提供更丰富的操作信息详细信息，帮助用户分析操作(如创建集群/扩容等）失败原因。

软件栈EMR-VKE 1.7.0

遗留问题
创建EMR虚拟集群时如果选择新建VKE资源，暂不支持部署Kyuubi和Zookeeper服务，待后续版本支持。

EMR-VKE-1.7.0发布说明

华北2(北京）、华东2(上海）、亚太东南(柔佛)、华南1（广州）

使用弹性容器实例VCI调度Spark作业

支持使用弹性容器实例(VCI)调度Spark作业，满足业务高峰弹性算力需求，减少常驻资源规模，实现降本。

华北2(北京）、华东2(上海）、亚太东南(柔佛)、华南1（广州）

虚拟集群操作日志接入日志中心

虚拟集群操作日志接入EMR控制台日志中心，用于日常操作审计和问题排查。

作业监控

通过作业管理可以监控虚拟集群上的Spark和Ray作业，支持作业详情和日志详情查看，便于作业问题分析排查。此功能当前为测试阶段。

丰富监控指标

EMR控制台丰富Spark、Celeborn监控指标，支持接入云上托管版Prometheus，用于日常运维监控。

软件栈EMR-VKE 1.6.0

遗留问题
【组件】单个RayCluster上持续运行超过1500+任务，可能会报low memory异常，为开源已知问题。

EMR-VKE-1.6.0发布说明

华北2(北京）、华东2(上海）、亚太东南(柔佛)、华南1（广州）

Ray HistoryServer

部署EMR Ray服务时默认启动Ray HistoryServer，对Ray作业日志进行持久化存储，便于查看和分析历史作业。

华北2(北京）、华东2(上海）、亚太东南(柔佛)

百万级Partition Shuffle

EMR on VKE对Celeborn进行优化，提供百万级别的Spark Partition Shuffle能力，以满足文本数据预处理场景下百万级Partition需求。

支持Spark SQL作业类型

用户在创建EMR虚拟集群时，如果选择部署Spark和HiveMetastore服务，将允许执行Spark SQL作业。EMR on VKE 以前版本仅支持Spark Jar、PySpark等作业类型。

OpenAPI更新

可以通过AddComponentInstance接口在安装了Ray的EMR虚拟集群上启动RayCluster。

新Region开服

EMR on VKE开服Region新增华东2（上海）和亚太东南（柔佛）， 已支持华北2(北京）、华东2(上海）和亚太东南(柔佛）。

软件栈EMR-VKE 1.4.0

新功能

【组件】新增HiveMetastore组件，以满足允许Spark SQL作业需求

【组件】Ray软件版本从2.9.3升级至2.22.0

遗留问题
【组件】Ray任务运行中会产生大量日志，日志会占用磁盘空间，需要关注您的磁盘空间剩余情况。
【组件】RayCluster运行作业建议并发在100以内，如果并发过大退出任务时可能会出现报错。
【组件】Spark异常中断的作业，SparkHistoryServer显示状态为运行中
【管控】暂不支持Celeborn参数值设置为数字。

EMR-VKE-1.5.0发布说明

华北2(北京）、华东2(上海）、亚太东南(柔佛)

自定义镜像

EMR On VKE 支持将自定义 Docker 镜像作为集群中任务的默认工作负载运行时。用户可以从火山引擎镜像仓库获取EMR基础镜像做二次开发，并打包成新的镜像 。当前自定义镜像的范围仅包括Spark和Ray。使用自定义Docker镜像运行作业

华北2（北京）

灵活的调度规则

EMR支持灵活的Pod调度规则，支持容忍节点上NoExecute、NoSchedule等污点。配置容忍污点后，EMR的Pod Yaml上会有相应配置。EMR新增配置节点的亲和性规则，Pod将调度到满足亲和性条件的节点上。

OpenAPI发布

EMR on VKE支持以OpenAPI方式对虚拟集群和应用进行管理。查看EMR on VKE API列表

软件栈EMR-VKE 1.3.4

遗留问题

【组件】Spark HistoryServer，采用TOS做为event log存储时，若采用Spark Native提交任务时，不支持查看正在执行的Job。同时也不支持查看Local模式下正在执行的SparkJob

【组件】Ray支持以HDFS协议读取TOS， 但定义HDFSFileSystem时需要先执行ray.init()，如下：
from pyarrow import fs
import ray
ray.init()

hdfs_fs = fs.HadoopFileSystem(host='tos://{bucket_name}', ...)

【组件】KubeRay中采用Volcano做调度时会报错，需要升级下KubeRay的镜像，可联系火山工程师进行升级。

EMR-VKE-1.4.0发布说明

华北2（北京）