You need to enable JavaScript to run this app.
导航
使用弹性容器实例(VCI)调度 Spark 作业
最近更新时间:2024.08.15 15:36:43首次发布时间:2024.07.29 19:02:40

如果您有使用弹性容器实例(VCI)运行作业的需求,您可以通过在控制台开启对应开关来开启相应功能:

当您开启该开关后,如果您使用 SparkApplication 方式提交作业,对应作业的 Driver 及 Executor 将使用弹性容器(VCI)来运行。EMR 将采用 VCI 提供的默认规格族来创建资源。如果您有其他资源规格的诉求(比如 GPU 机型),可参考下述配置以便进行自定义。

自定义 VCI 规格族运行 Spark 作业

前置条件

已拥有 VKE 集群,并已创建 EMR On VKE Spark 集群,开启 VCI 调度开关。

提交作业指定 VCI 实例规格族

apiVersion: "sparkoperator.k8s.io/v1beta2"
kind: SparkApplication
metadata:
  name: spark-wordcount
spec:
  type: Scala
  sparkVersion: 3.2.1
  mainClass: org.apache.spark.examples.SparkPi
  mainApplicationFile: "xxx/spark-examples_2.12-3.3.3.jar"
  arguments:
    - "1000"
  driver:
    annotations:
      vci.vke.volcengine.com/preferred-instance-family: vci.n3i
    nodeSelector: {}
    cores: 1
    coreLimit: 1000m
    memory: 2g
  executor:
    annotations:
      vci.vke.volcengine.com/preferred-instance-family: vci.n3i
    nodeSelector: {}
    cores: 1
    coreLimit: 1000m
    memory: 2g
    memoryOverhead: 1g
    instances: 1

如果您需要了解更多关于实例规格族的相关信息,请参考:
Pod Annotation 说明--容器服务-火山引擎