环境 | 语言 | 版本 |
|---|---|---|
OS | velinux1u3 SMP Debian 5.4.250-2 | |
OS | Java | 1.8.0_351 |
Spark | Java | 1.8.0_351 |
Spark | Scala | 2.12.18 |
Ray | Java | 1.8.0_351 |
Celeborn | Java | 1.8.0_351 |
Celeborn | Scala | 2.12.15 |
软件 | 版本 |
|---|---|
Spark | 3.5.1 |
Ray | 2.30.0 |
Kuberay | 1.1.1 |
Celeborn | 0.3.1 |
Hive | 3.1.3 |
Zookeeper | 3.7.1 |
Kyuubi | 1.8.1 |
EMR-VKE-1.6.0及以前版本仅支持在已有VKE集群上创建EMR虚拟集群，EMR-VKE-1.7.0及之后版本支持创建EMR虚拟集群时直接新建VKE集群，对算法工程师或无离在线混合部署需求的用户而言，减少了创建EMR虚拟集群的步骤和复杂度。
从EMR-VKE-1.7.0开始提供Kyuubi服务，支持在Lakehouse上提供无服务器SQL服务。
提供更丰富的操作信息详细信息，帮助用户分析操作(如创建集群/扩容等）失败原因。
组件 | 描述 |
|---|---|
Celeborn Master | 维护Celeborn集群整体状态、活跃Shuffle和高可用 |
Celeborn Worker | 接收、存储和服务Shuffle 数据 |
Spark Operator | 用于在 Kubernetes 集群上部署和管理 Spark 应用程序 |
Spark History Server | Spark的Web UI组件，用于展示已完成的 Spark 作业的详细视图，包括作业的执行时间线、任务详情和资源使用情况 |
Ray Operator | 用于在 Kubernetes 集群上部署和管理 Ray 应用程序 |
HiveMetastore | Hive元数据存储服务 |
Kyuubi | 分布式、多租户的大数据网关，用于在Lakehouse上提供无服务器SQL服务 |