如果您有使用弹性容器实例(VCI)运行作业的需求,您可以通过在控制台开启对应开关来开启相应功能:
当您开启该开关后,如果您使用 SparkApplication 方式提交作业,对应作业的 Driver 及 Executor 将使用弹性容器(VCI)来运行。EMR 将采用 VCI 提供的默认规格族来创建资源。如果您有其他资源规格的诉求(比如 GPU 机型),可参考下述配置以便进行自定义。
已拥有 VKE 集群,并已创建 EMR On VKE Spark 集群,开启 VCI 调度开关。
apiVersion: "sparkoperator.k8s.io/v1beta2" kind: SparkApplication metadata: name: spark-wordcount spec: type: Scala sparkVersion: 3.2.1 mainClass: org.apache.spark.examples.SparkPi mainApplicationFile: "xxx/spark-examples_2.12-3.3.3.jar" arguments: - "1000" driver: annotations: vci.vke.volcengine.com/preferred-instance-family: vci.n3i nodeSelector: {} cores: 1 coreLimit: 1000m memory: 2g executor: annotations: vci.vke.volcengine.com/preferred-instance-family: vci.n3i nodeSelector: {} cores: 1 coreLimit: 1000m memory: 2g memoryOverhead: 1g instances: 1
如果您需要了解更多关于实例规格族的相关信息,请参考:
Pod Annotation 说明--容器服务-火山引擎