环境 | 语言 | 版本 |
|---|---|---|
OS | velinux1u3 SMP Debian 5.4.250-2 | |
Spark | Java | 1.8.0_351 |
Spark | Scala | 2.12.18 |
Ray | Java | 1.8.0_351 |
Celeborn | Java | 1.8.0_351 |
Celeborn | Scala | 2.12.15 |
软件 | 版本 |
|---|---|
Spark | 3.5.1 |
Ray | 2.30.0 |
Kuberay | 1.1.1 |
Celeborn | 0.3.1 |
Hive | 3.1.3 |
Zookeeper | 3.7.1 |
【组件】单个RayCluster上持续运行超过1500+任务，可能会报low memory异常，为开源已知问题。
组件 | 描述 |
|---|---|
Celeborn Master | 维护Celeborn集群整体状态、活跃Shuffle和高可用 |
Celeborn Worker | 接收、存储和服务Shuffle 数据 |
Spark Operator | 用于在 Kubernetes 集群上部署和管理 Spark 应用程序 |
Spark History Server | Spark的Web UI组件，用于展示已完成的 Spark 作业的详细视图，包括作业的执行时间线、任务详情和资源使用情况 |
Ray Operator | 用于在 Kubernetes 集群上部署和管理 Ray 应用程序 |
HiveMetastore | Hive元数据存储服务 |