You need to enable JavaScript to run this app.
导航
E-MapReduce
  • 文档首页
    • /E-MapReduce/EMR on VKE 操作指南/集群管理/创建虚拟集群
创建虚拟集群
最近更新时间：2025.02.14 15:28:14首次发布时间：2024.03.08 14:31:23
我的收藏

本文将为您介绍在火山引擎 E-MapReduce（EMR）控制台上基于 Kubernetes 创建集群的详细步骤。

前提条件

  1. 已完成入门的相关准备工作，创建集群需完成企业认证。
  2. 集群创建购买前，请保证您的账户余额（即现金余额）大于等于0元，且余额加代金券的总金额不得小于100.00元人民币。

操作步骤

创建虚拟集群入口

  1. 登录 EMR 控制台。
  2. 在顶部菜单栏中，根据实际场景，下拉选择地域和项目空间：
    1. 地域：创建的集群及相应资源将会部署在对应的地域内，一旦创建不能修改。
    2. 项目：默认显示默认项目。详见项目配置。
  3. 在 on VKE 集群列表界面 ，单击创建虚拟集群入口，开始虚拟集群创建。

创建虚拟集群配置

配置项

说明

产品版本

默认最新的软件版本。

服务

目前支持 Spark、Celeborn、Hive MetaStore、Ray、Volcano、ZooKeeper、Kyuubi 服务，可以单选或多选。
Celeborn 提供 Remote Shuffle 服务，解决 Kubernetes 场景下本地盘的依赖问题。
Ray 提供分布式计算框架，覆盖机器学习、模型训练等场景。

说明

Ray、Volcano 服务需要开白使用，如有需求请通过 提工单 的方式，联系火山引擎技术支持人员。

集群名称

集群的名字，长度限制为1~64个字符，仅可使用中文、字母、数字、中划线（-）和下划线（_）。

资源类型

选择新建 VKE 资源，或者已有 VKE 资源（仅白名单用户支持）。

说明

  • 建议已有VKE集群安装 ingress 组件， 否则会影响 EMR on VKE 集群访问链接功能。
  • 新建 VKE 资源目前不支持 ZooKeeper、Kyuubi 服务。
  • 新建 VKE 资源参数配置可参考：容器服务。

已有VKE资源
（仅白名单用户支持）

VKE 集群

选择已创建的 VKE 集群。

Namespace

服务部署的 VKE 命名空间。默认随机生成，也可以自定义。
Image

新建VKE资源

付费类型

目前仅支持按量付费

可用区

选择集群所在的可用区

网络配置

  • 如您没有可以使用的网络，请选择**全新创建，**系统将自动为您创建 VPC、子网和安全组
  • 如您有可使用的网络，请选择**使用已有，**选择需使用的 VPC、子网和安全组

Image

开启公网

VKE 集群开启公网访问，会创建 NAT 网关并收取服务费和流量费

访问凭证

该凭证用于远程登陆集群 master 节点的 ECS 机器，您可选择密钥对或密码方式登录

密钥对/密码

  • 密钥对：下拉选择已创建成功的密钥对，或单击 创建密钥对 前往控制台创建，使用详见 密钥对概述
  • 密码：输入集群 Master 节点登录密码长度限制在8～30之间。请勿设置过于简单，否则可能被其他用户恶意攻击

说明

  • 为安全考虑，建议使用密钥对。
  • 密码只能由大写字母、小写字母、数字和特殊字符组成，且必须包含至少三项。
  • 特殊字符可以使用：`~!@#$%^&*()_-+= |不能以“/”和“$6$”开头。 |

专属节点

单击配置专属节点，可以配置 EMR 专属节点或者配置专属节点池。
选择节点池或节点后，将对选择的节点打上 EMR 标签，被配置的节点允许运行 EMR 服务。配置专属节点池时，基于该节点池的扩容节点也会自动配置成 EMR 专属节点。

说明

  • 您可前往容器服务控制台 添加节点或改变节点配置。
  • ShuffleService 集群专至少需要 3 台专属节点，且必须为本地盘机型，比如i2g、i3s 等。
  • 部署 CelebornWorker 至少需要配置 3 个本地盘机型专属节点。

Image

配置 Pod 部署

容器组（Pod）是 Kubernetes 创建或部署的最小单位。一个 Pod 封装一个或多个容器（Container）、存储资源（Volume），包含一个独立的网络 IP 和管理控制容器运行方式的策略选项。您可根据需求调节容器组参数。
展示所选服务 Pod 部署信息，并对部署最小资源需求进行检查和提示

说明

本配置项展示所选服务 Pod 部署信息，并对部署最小资源需求进行检查和提示。

污点容忍

当您需要为组件容器设置污点和容忍度时，您可以配置污点容忍项。目前污点容忍支持根据“effect”进行选择。

所属项目

火山引擎为您提供的一套云资源管理方式，用于对云资源进行集中的编排管理。详见项目配置。

关联 Shuffle Service 集群

支持 Spark 创建时和创建后关联 ShuffleService 集群。关联 ShuffleService 集群后，Spark Shuffle 部分会运行在关联的 ShuffleService 集群上。

TOS 桶

选择已有的 Bucket，或者在对象存储 TOS 控制台新建 Bucket。

AccessKey

AK/SK 用于读写 TOS 数据。建议使用独立的 IAM 账号创建 TOS 独立的 AK/SK。

SecretKey

AK/SK 用于读写 TOS 数据。建议使用独立的 IAM 账号创建 TOS 独立的 AK/SK。

标签

可以对集群以及对应的 VKE 集群进行打标