You need to enable JavaScript to run this app.
导航
Celeborn Master pod节点不允许移除
最近更新时间:2024.03.19 11:46:55首次发布时间:2024.03.19 11:46:55

EMR on VKE 提供修改专属节点功能,可以用于下述场景:

1 扩容EMR集群可用的VKE Node资源

当运行作业发现Node资源不够的情况下,可以直接通过编辑专属节点->勾选新节点的方式进行扩容资源。
针对Shuffle Service而言,会自动将Worker扩容到新部署的节点上。

注意

更新专属节点后,已经运行的作业不会受到影响,新提交的作业才会提交到新打标的专属节点上执行。

2 下线VKE节点池节点

针对Shuffle Service而言,重启服务或者下线VKE节点都是采取滚动方案,因此对正在运行中的作业不会造成影响,但相应下线时间或者重启时间会加长,建议低峰期间操作。

注意

  • Celeborn Master本身记录了整个shuffle集群的元数据,因此目前EMR不支持将Celeborn Master Pod所在的节点从专属节点列表中移除。
  • 如果确定想下线Celeborn Master pod所在的节点,可以在没有作业运行时释放Celeborn集群,重新选择合适的专属节点创建Celeborn集群即可。