版本号:v 1.3.0
产品 | 功能名称 | 功能描述 | 发布地域 |
---|---|---|---|
EMR Serverless 队列 | 统一队列 | 在同一队列,可使用多个引擎执行作业,当前支持 Spark/Hive/Presto/Ray 的作业,其中 Hive/Ray 为邀测功能,如有需要,请联系火山引擎客服开通。 | 华南、柔佛、华北、华东 |
独立计算组 | 新增计算组概念,计算组是队列下属的计算单元,可以独立划分队列的资源,并执行特定的作业。当前队列下会默认创建 Default 计算组,可以执行Spark/Ray/Hive 作业。您也可以选择创建 Spark SQL Warehouse/Presto SQL Warehouse/Ray Cluster 三种独立计算组,其中 Ray Cluster 白名单邀测中,如有需要,请联系火山引擎客服开通。 | ||
自定义元数据 | 独占队列新增对自定义 HMS (HiveMetaStore)的支持,您可以设定自己的元数据访问路径,并使用 Serverless 队列查询该路径下的数据。 | ||
EMR Serverless 实例(OLAP) | 机型调整 | 新增对 1:8 机型的支持,可以应用在 FE、BE/CN,该功能白名单邀测中,如有需要,请联系火山引擎客服开通。 | |
参数项变更 | 在参数配置中,新增对 StarRocks 实例的参数支持:
| ||
新增监控/告警 | 新增对 StarRocks 实例 FE CPU 利用率的告警的支持,可在云监控页面进行配置。 | ||
滚动变配 | 在进行节点变配时,会默认采用滚动变配的方式,减少业务影响。 | ||
版本升级 | 对于 Starrocsk 多仓实例,新增了版本升级功能,可在页面上升级实例版本。升级为滚动升级,业务可能有波动,但不会有中断。同时支持升级检查、回滚/验收功能,可确保升级成功率,并保证业务衔接顺畅。 | ||
分时弹性 | 对于 StarRocks 多仓实例,按量付费仓库支持分时弹性功能,可根据业务要求,根据时间设定仓库的大小。分时弹性时间间隔最小为 2 小时。 | 华南、华北、华东 |
组件名称 | 功能名称 | 功能描述 | 发布地域 |
---|---|---|---|
Spark | 大作业优化 |
| 华南、柔佛、华北、华东 |
Presto | Presto on Bolt | Bolt 使用C++实现的向量化执行引擎、结合运行时LLVM Codegen代码生成技术,大幅提升了多核CPU的并行执行性能效率。在分布式SQL查询引擎Spark和Presto上,替换掉传统的Java引擎,比开源产品性能提升了2~5倍,大幅提升了查询速度、降低了资源成本。 说明 您可以在创建 Presto 计算组时,勾选 Presto on Bolt 选项。 | |
独占队列 UDF | 支持在独占队列 Presto 计算组,执行 UDF。 | ||
Dataleap 执行 Presto SQL | 支持在 Dataleap 提交 Presto 查询。 | ||
Hive | 支持 Hive Job | 可以在独占队列 Default 计算组提交 Hive 作业,功能邀测中,如有需要,请联系火山引擎客服开通。 | |
Doris | 版本更新 | 支持 2.1.7 版本 | |
StarRocks | 版本更新 | 新增 3.2.11.3 版本,在开源3.2.11 版本的基础上,进行了稳定性修复,当前使用 存算一体/存算分离 3.2.7 版本的用户可以在界面上升级。 |
版本号:v 1.2.0
产品 | 功能名称 | 功能描述 | 发布地域 |
---|---|---|---|
EMR Serverless Spark/Presto | 队列权限控制 | 支持设置队列权限,当前可设置 Admin/Developer,Admin 可管理 Presto/Spark 队列,Developer 可在队列中提交作业。 | 华南、柔佛、华北、华东 |
队列创建Quota 调整 | 独占队列 MAX 设置提升到 4090 CU,如需更多资源,请联系火山引擎支持调整。 | ||
SQL 编辑器体验优化 | SQL 编辑器查询结果支持列名锁定。 | ||
EMR Serverless OLAP | 权限管理 | 新增 StarRocks 实例权限管理,对接 StarRocks 3.X 全新权限系统。 | |
重启优化 | 支持滚动重启 FE、BE/CN。 | ||
网络连接 | 对于 Starrocks 多仓实例,新增了“网络连接”页面,在网络连接页面,您可以更好的查看集群的连接信息,并配置公网 IP。 | 华南、华北、华东 | |
启停仓库 | 对于 Starrocks 3.3+ 的多仓实例,支持对按量付费仓库手动启停,停止仓库后,不再对计算计费,仅收取云盘缓存费用,更好的节约成本。 |
组件名称 | 功能名称 | 功能描述 | 发布地域 |
---|---|---|---|
Spark | 运行环境支持 | 新增 JDK 17 | 华南、柔佛、华北、华东 |
Presto | Presto on Bolt(邀测) | Bolt 使用C++实现的向量化执行引擎、结合运行时LLVM Codegen代码生成技术,大幅提升了多核CPU的并行执行性能效率。在分布式SQL查询引擎Spark和Presto上,替换掉传统的Java引擎,比开源产品性能提升了2~5倍,大幅提升了查询速度、降低了资源成本。 说明 您可以在创建 Presto 计算组时,勾选 Presto on Bolt 选项,此功能是邀测功能,如需开通,请联系火山引擎支持。 | |
按列名读取 Parquet 文件 | Serverless Presto 可以按照列名读取存储在 TOS 中的 Parquet 文件。 | ||
支持 Proton 单租户私部版(邀测) | Proton 是 火山引擎 EMR 推出的对 TOS(对象存储)的加速引擎,当前 Presto 可以读取单租户私有化部署的 Proton 集群,此功能是邀测功能,如需开通,请联系火山引擎支持。 | ||
StarRocks | 版本更新 | 新增 3.3.3 版本,支持存算一体、存算分离(多仓 Multi-Warehouse)。
| 华南、华北、华东 |
Doris | 版本更新 | 支持1.2.7 版本 |
版本号:v 1.1.0
产品 | 功能名称 | 功能描述 | 发布地域 |
---|---|---|---|
EMR Serverless Spark | 多 Catalog 支持 | 在提交作业时,可以切换托管在 LAS Catalog 中的不同 Catalog。 | 华南、柔佛、华北、华东 |
队列监控 | 当前新支持队列监控功能,您可以在公共队列、独占队列中-“队列监控”模块查看对应指标。公共队列支持“作业数量”监控,独占队列支持“作业数量”、“CPU 用量”、“内存用量”等监控。 | ||
EMR Serverless Presto | 产品发布 | 发布 EMR Serverless Presto 产品,基于 LAS Catalog 提供统一元数据和权限管理服务,提供 Serverless 版交互式分析服务。 | |
EMR Serverless OLAP | 新开区 | EMR Serverless OLAP 当前新支持 柔佛 地域,计费详见:标准计算资源--E-MapReduce-火山引擎。 | |
FE 高可用模式节点选择 | 在高可用模式下,支持选择 5 FE 节点。 | ||
默认开通端口 | 更新了实例开通的端口,当前可访问的端口为:
|
组件名称 | 功能名称 | 功能描述 | 发布地域 |
---|---|---|---|
Spark | PySpark 作业 | 支持提交 PySpark 作业,详见:PySpark作业开发指南--E-MapReduce-火山引擎。 | 华南、柔佛、华北、华东 |
读写 Serverless StarRocks 实例 | 支持直读直写存算分离 Serverless StarRocks 实例,详见:Serverless Spark读写StarRocks(存算分离)操作手册--E-MapReduce-火山引擎。 | ||
MaxCompute 函数兼容插件 | 内置 Maxcompute 函数兼容插件,可以在 Serverless Spark 中,兼容访问 Maxcompute 的函数,详见:MaxCompute Buildin Function Plugin--E-MapReduce-火山引擎。 | ||
Starrocks | 版本更新 | 支持 3.2.7 版本,含存算一体/存算分离。 |
版本号:v 1.0.0
本次 EMR Serverless Spark 主要发布 资源队列和作业管理两个大模块,依托LAS 进行统一元数据和数据权限管理,产品框架和云资源服务对接形式与EMR on ECS 保持一致。
产品 | 功能名称 | 功能描述 | 发布地域 |
---|---|---|---|
EMR Serverless Spark | 资源队列 | 支持创建队列、SQL专用资源、通用资源和队列管理等功能。 | 华南、柔佛、华北、华东 |
作业管理 | 支持创建SQL作业、创建Jar作业和作业控制等功能。 |