EMR on VKE服务提供Spark的预置镜像仓库，便于用户基于这些镜像做二次开发。

Spark 镜像列表

关于 Spark 提供如下场景的镜像仓库：

• emr-vke-public-{region}.cr.volces.com/emr/spark：包含 Spark 及其所需依赖的镜像，以及在该基础镜像之上，提供访问 StarRocks的jar 包，用于访问StarRocks集群的库表，是火山引擎自研的 connector，可以直读直写 StarRocks 的表。其中{region}是 Spark 集群所在的 Region英文名。目前支持 Region 地区有华北、华东、华南、亚太东南（柔佛）

同时，不同的 EMR 产品版本，提供的 Spark 版本、操作系统版本可能也有所不同。通过镜像 Tag 来区分：
{spark.version}--py{python.version}-ubuntu{ubuntu.version}[-{build.version}]-{emr.version}

支持的 Tag 列表：

• 3.5.1-1.0.0.87-1.4.0
• 3.5.1-py3.9-ubuntu20.04-57-1.5.0

华北 Region 镜像列表

华东 Region 镜像列表

华南 Region 镜像列表

柔佛 Region 镜像列表

使用场景

• 直接使用：EMR 提供的镜像可以直接开箱即用，满足相关场景的任务运行。
• 作为基础镜像：若 EMR 提供的镜像不完全满足需求时，可以基于这些镜像做二次开发，定义属于特定任务的镜像。

使用示例

下面以直接使用为例进行解释，也可以参考使用自定义 Docker 镜像运行作业。

1. 环境准备
   1. 部署 EMR on VKE 产品中 Ray 服务。
   2. 通过 kubectl 命令运行 RayJob 作业，需要安装 kubectl 工具（参考安装和设置 kubectl），且配置火山引擎 VKE 集群的连接信息（参考连接 VKE 集群）。
2. 生成密钥

您可以使用下述命令生成秘钥：

kubectl create secret docker-registry my-docker-secret --docker-server={DOCKER_REGISTRY_SERVER} --docker-username={DOCKER_USER} --docker-password={DOCKER_PASSWORD}  -n {YOUR_NAMESPACE}

其中

• my-docker-secret：秘钥名称。 用于下面 Yaml 文件中imagePullSecrets的值。
• YOUR_NAMESPACE：执行 Ray 作业的命名空间。
• DOCKER_REGISTRY_SERVER、DOCKER_USER、DOCKER_PASSWORD：docker镜像仓库地址、用户名和密码，可以联系下 EMR 服务工程师获取相关参数值。

3. 以 SparkPi 使用示例

以 test.yaml 文件示例

apiVersion: "sparkoperator.k8s.io/v1beta2"
kind: SparkApplication
metadata:
  name: spark-pi
spec:
  type: Scala
  sparkVersion: 3.5.1
  mainClass: org.apache.spark.examples.SparkPi
  mainApplicationFile: "local:///opt/spark/examples/jars/spark-examples_2.12-3.5.1.jar"
  arguments:
    - "100"
  driver:
    cores: 1
    coreLimit: 1000m
    memory: 1g
    image: emr-vke-public-cn-beijing.cr.volces.com/emr/spark-sr:3.5.1-1.0.0.87-1.4.0  # 指定 Driver 镜像
  executor:
    cores: 1
    coreLimit: 1000m
    memory: 1g
    instances: 1
    image: emr-vke-public-cn-beijing.cr.volces.com/emr/spark-sr:3.5.1-1.0.0.87-1.4.0 # 指定 executor 镜像
  imagePullSecrets:
    - my-docker-secret # 指定 vke 下载 docker 镜像的秘钥

提交 RayJob：

kubectl apply -f test.yaml -n {YOUR_NAMESPACE}