You need to enable JavaScript to run this app.
导航
EMR Serverless功能发布记录
最近更新时间:2024.12.23 19:44:13首次发布时间:2024.11.29 15:22:25

2024 年 12 月 1 日

版本号:v 1.3.0

  • EMR Serverless 管控功能更新

产品

功能名称

功能描述

发布地域

EMR Serverless 队列

统一队列

在同一队列,可使用多个引擎执行作业,当前支持 Spark/Hive/Presto/Ray 的作业,其中 Hive/Ray 为邀测功能,如有需要,请联系火山引擎客服开通。

华南、柔佛、华北、华东

独立计算组

新增计算组概念,计算组是队列下属的计算单元,可以独立划分队列的资源,并执行特定的作业。当前队列下会默认创建 Default 计算组,可以执行Spark/Ray/Hive 作业。您也可以选择创建 Spark SQL Warehouse/Presto SQL Warehouse/Ray Cluster 三种独立计算组,其中 Ray Cluster 白名单邀测中,如有需要,请联系火山引擎客服开通。

自定义元数据

独占队列新增对自定义 HMS (HiveMetaStore)的支持,您可以设定自己的元数据访问路径,并使用 Serverless 队列查询该路径下的数据。

EMR Serverless 实例(OLAP)

机型调整

新增对 1:8 机型的支持,可以应用在 FE、BE/CN,该功能白名单邀测中,如有需要,请联系火山引擎客服开通。

参数项变更

在参数配置中,新增对 StarRocks 实例的参数支持:

  • make_snapshot_worker_count
    BE 节点快照任务的最大线程数,用于备份作业。默认值:5。增加此配置项的值可以增加快照任务并行度。
  • release_snapshot_worker_count
    BE 节点释放快照任务的最大线程数,用于备份作业异常清理。默认值:5。增加此配置项的值可以增加释放快照任务并行度。
  • upload_worker_count
    BE 节点上传任务的最大线程数,用于备份作业。默认值:0。0 表示设置线程数为 BE 所在机器的 CPU 核数。增加此配置项的值可以增加上传任务并行度。

新增监控/告警

新增对 StarRocks 实例 FE CPU 利用率的告警的支持,可在云监控页面进行配置。

滚动变配

在进行节点变配时,会默认采用滚动变配的方式,减少业务影响。

版本升级

对于 Starrocsk 多仓实例,新增了版本升级功能,可在页面上升级实例版本。升级为滚动升级,业务可能有波动,但不会有中断。同时支持升级检查、回滚/验收功能,可确保升级成功率,并保证业务衔接顺畅。

分时弹性

对于 StarRocks 多仓实例,按量付费仓库支持分时弹性功能,可根据业务要求,根据时间设定仓库的大小。分时弹性时间间隔最小为 2 小时。

华南、华北、华东

  • EMR Serverless 内核功能更新

组件名称

功能名称

功能描述

发布地域

Spark

大作业优化

  • 升级Proton版本到1.9.0,添加参数fs.tos.get-file-status.enabled=true
  • 验证参数spark.kubernetes.allocation.batch.size
  • Spark镜像默认安装pyproton、添加py-spy module
  • Spark 代码更改默认参数(spark和celeborn超时相关)
  • 大作业优化建议文档(代码、参数)

华南、柔佛、华北、华东

Presto

Presto on Bolt

Bolt 使用C++实现的向量化执行引擎、结合运行时LLVM Codegen代码生成技术,大幅提升了多核CPU的并行执行性能效率。在分布式SQL查询引擎Spark和Presto上,替换掉传统的Java引擎,比开源产品性能提升了2~5倍,大幅提升了查询速度、降低了资源成本。

说明

您可以在创建 Presto 计算组时,勾选 Presto on Bolt 选项。

独占队列 UDF

支持在独占队列 Presto 计算组,执行 UDF。

Dataleap 执行 Presto SQL

支持在 Dataleap 提交 Presto 查询。

Hive

支持 Hive Job

可以在独占队列 Default 计算组提交 Hive 作业,功能邀测中,如有需要,请联系火山引擎客服开通。

Doris

版本更新

支持 2.1.7 版本

StarRocks

版本更新

新增 3.2.11.3 版本,在开源3.2.11 版本的基础上,进行了稳定性修复,当前使用 存算一体/存算分离 3.2.7 版本的用户可以在界面上升级。

2024 年 8 月 16 日

版本号:v 1.2.0

  • EMR Serverless 管控功能更新

产品

功能名称

功能描述

发布地域

EMR Serverless Spark/Presto

队列权限控制

支持设置队列权限,当前可设置 Admin/Developer,Admin 可管理 Presto/Spark 队列,Developer 可在队列中提交作业。

华南、柔佛、华北、华东

队列创建Quota 调整

独占队列 MAX 设置提升到 4090 CU,如需更多资源,请联系火山引擎支持调整。

SQL 编辑器体验优化

SQL 编辑器查询结果支持列名锁定。

EMR Serverless OLAP

权限管理

新增 StarRocks 实例权限管理,对接 StarRocks 3.X 全新权限系统。

重启优化

支持滚动重启 FE、BE/CN。

网络连接

对于 Starrocks 多仓实例,新增了“网络连接”页面,在网络连接页面,您可以更好的查看集群的连接信息,并配置公网 IP。

华南、华北、华东

启停仓库

对于 Starrocks 3.3+ 的多仓实例,支持对按量付费仓库手动启停,停止仓库后,不再对计算计费,仅收取云盘缓存费用,更好的节约成本。

  • EMR Serverless 内核功能更新

组件名称

功能名称

功能描述

发布地域

Spark

运行环境支持

新增 JDK 17

华南、柔佛、华北、华东

Presto

Presto on Bolt(邀测)

Bolt 使用C++实现的向量化执行引擎、结合运行时LLVM Codegen代码生成技术,大幅提升了多核CPU的并行执行性能效率。在分布式SQL查询引擎Spark和Presto上,替换掉传统的Java引擎,比开源产品性能提升了2~5倍,大幅提升了查询速度、降低了资源成本。

说明

您可以在创建 Presto 计算组时,勾选 Presto on Bolt 选项,此功能是邀测功能,如需开通,请联系火山引擎支持。

按列名读取 Parquet 文件

Serverless Presto 可以按照列名读取存储在 TOS 中的 Parquet 文件。

支持 Proton 单租户私部版(邀测)

Proton 是 火山引擎 EMR 推出的对 TOS(对象存储)的加速引擎,当前 Presto 可以读取单租户私有化部署的 Proton 集群,此功能是邀测功能,如需开通,请联系火山引擎支持。

StarRocks

版本更新

新增 3.3.3 版本,支持存算一体、存算分离(多仓 Multi-Warehouse)。

  • 在存算分离集群中,Warehouse 是一组计算节点(CN),可以为您提供执行查询、导入和数据处理任务所需的计算资源 (CPU、内存和临时存储)。每个 Warehouse 作为一个独立的计算资源池,可以物理隔离计算资源。
  • 在存算分离集群中,数据在多个 Warehouse 之间共享,但不同的 Warehouse 保持计算和内存资源的物理隔离。因此,您可以针对不同的业务需求创建多个 Warehouse ,比如Ad hoc Query Warehouse 、ETL Warehouse 和 Compaction Warehouse ,并轻松地将特定任务分配至各自的 Warehouse 。

华南、华北、华东

Doris

版本更新

支持1.2.7 版本

2024 年 7 月 18 日

版本号:v 1.1.0

  • EMR Serverless 管控功能更新

产品

功能名称

功能描述

发布地域

EMR Serverless Spark

多 Catalog 支持

在提交作业时,可以切换托管在 LAS Catalog 中的不同 Catalog。

华南、柔佛、华北、华东

队列监控

当前新支持队列监控功能,您可以在公共队列、独占队列中-“队列监控”模块查看对应指标。公共队列支持“作业数量”监控,独占队列支持“作业数量”、“CPU 用量”、“内存用量”等监控。

EMR Serverless Presto

产品发布

发布 EMR Serverless Presto 产品,基于 LAS Catalog 提供统一元数据和权限管理服务,提供 Serverless 版交互式分析服务。

EMR Serverless OLAP

新开区

EMR Serverless OLAP 当前新支持 柔佛 地域,计费详见:标准计算资源--E-MapReduce-火山引擎

FE 高可用模式节点选择

在高可用模式下,支持选择 5 FE 节点。

默认开通端口

更新了实例开通的端口,当前可访问的端口为:

  • FE:9030 8030 9020
  • BE/CN: 8040 9060 8060
  • EMR Serverless 内核功能更新

组件名称

功能名称

功能描述

发布地域

Spark

PySpark 作业

支持提交 PySpark 作业,详见:PySpark作业开发指南--E-MapReduce-火山引擎

华南、柔佛、华北、华东

读写 Serverless StarRocks 实例

支持直读直写存算分离 Serverless StarRocks 实例,详见:Serverless Spark读写StarRocks(存算分离)操作手册--E-MapReduce-火山引擎

MaxCompute 函数兼容插件

内置 Maxcompute 函数兼容插件,可以在 Serverless Spark 中,兼容访问 Maxcompute 的函数,详见:MaxCompute Buildin Function Plugin--E-MapReduce-火山引擎

Starrocks

版本更新

支持 3.2.7 版本,含存算一体/存算分离。

2024 年 4 月 28 日

版本号:v 1.0.0
本次 EMR Serverless Spark 主要发布 资源队列作业管理两个大模块,依托LAS 进行统一元数据和数据权限管理,产品框架和云资源服务对接形式与EMR on ECS 保持一致。

  • EMR Serverless 管控功能更新

产品

功能名称

功能描述

发布地域

EMR Serverless Spark

资源队列

支持创建队列、SQL专用资源、通用资源和队列管理等功能。

华南、柔佛、华北、华东

作业管理

支持创建SQL作业、创建Jar作业和作业控制等功能。