You need to enable JavaScript to run this app.
导航
创建集群
最近更新时间:2024.11.18 19:48:36首次发布时间:2021.09.01 17:27:34

本文将为您介绍在火山引擎 E-MapReduce(EMR)控制台上创建集群的详细步骤。

前提条件

  1. 已完成入门的相关准备工作,创建集群需完成企业认证
  2. 集群创建购买前,请保证您的账户余额(即现金余额)大于等于0元,且余额加代金券的总金额不得小于100.00元人民币。

操作步骤

创建集群入口

  1. 登录 EMR 控制台
  2. 在顶部菜单栏中,根据实际场景,下拉选择地域和项目空间:
    1. 地域:创建的集群及相应资源将会部署在对应的地域内,一旦创建不能修改。
    2. 项目:默认显示默认项目。详见项目配置
  3. 在总览界面,单击创建集群入口,开始集群创建。
    Image

集群快速创建配置

在创建集群界面,右上角单击快速创建按钮,完成以下软件配置、付费设置、可用地区、网络配置、实例设置、基础信息等配置:
Image

  1. 集群参数配置:

    配置项

    示例

    说明

    软件配置

    分析场景

    数据湖

    数据分析的场景,EMR 已支持数据湖、实时计算、交互式分析、NoSQL、搜索、数据科学等多种分析场景。

    集群类型

    Hadoop

    默认为 Hadoop 集群类型,针对不同分析场景,您可选择更多类型,详细参考集群类型

    产品版本

    EMR-3.1.0

    EMR软件栈的版本,建议选择EMR最新的软件版本,目前已支持 EMR 1.2.1、1.3.1、2.0.1、2.1.0、3.0.1、3.1.0版本,不同版本说明详见产品版本

    服务高可用

    不开启

    选择集群是否开启高可用服务。开启高可用,Hadoop 集群会有三个 Master 节点来支持 ResourceManager 和 NameNode 的高可用,生产环境推荐使用高可用部署形态。

    说明

    交互式分析场景下,Presto、Trino 集群类型目前也已支持高可用形式,您可通过提工单,后台联系 EMR 技术支持人员进行白名单开通。

    必选服务

    HDFS\YARN\Hue\Spark\OpenLDAP 等

    默认的服务组件,不同集群类型,默认的必选服务不同,后期您可以在集群服务列表中启停服务。

    可选服务

    不勾选

    根据实际需求选择其他组件服务,被选中的组件会默认启动相关的服务。

    元数据选择

    内置数据库

    • 内置数据库:仅限使用在测试场景下,本地 MySQL 数据库部署在 EMR 集群单节点中,不能保证服务高可用,有稳定性风险,生产场景建议选择外置数据库;
    • 外置数据库:用于生产环境的集群,建议使用独立 RDS MySQL,可以选择使用火山引擎高可用版本的 RDS MySQL 5.7,下拉选择需链接的外置数据源。操作详见元数据链接

    付费设置

    付费类型

    按量付费

    • 按量付费:按实际开通时长以小时为单位进行收费,后付费模式,节点可以随时释放。
    • 包年包月:按月购买及续费,为预付费模式,节点到期之后才可以释放。

    详见计费说明

    可用地区

    可用区

    可用区B

    可用区是指在同一地域内,电力和网络互相独立的物理区域。在同一地域内可用区与可用区之间内网互通,可用区之间能做到故障隔离。

    网络配置

    选择项目

    全部项目

    火山引擎为您提供的一套云资源管理方式,用于对云资源进行集中的编排管理。
    详见项目配置

    VPC

    vpc-rr4e42vtxxxxx

    选择 EMR 集群所在地域的私有网络,建议 EMR 上下游系统在同一个私有网络。
    若没有可用的 VPC,单击创建VPC 前往新建。

    注意

    项目选择某个具体项目时,需确保 VPC 也在对应资源项目下。

    子网

    subnet-rr4e4qk77dvxxxxx

    子网用于为实例分配主网卡的私网IP地址,通过网卡可实现实例的网络管理,下拉选择对应 VPC 下可用区的子网,若没有可用的子网,单击创建子网前往创建。

    注意

    子网选择区分可用区,请选择上方对应可用区下的子网段。

    安全组

    Default

    选择配置的安全组规则,控制组内云服务器的出入流量,详见安全组概述
    您可下拉选择已有的安全组,如需创建新的安全组,单击创建安全组前往控制台创建。

    公网IP

    开启

    开启分配公网 IP 后,集群初始化时自动开通并生成公网 IP,配置在集群 master 实例上。如果选择不开启分配公网 IP,则无法通过公网 IP 访问集群。

    实例设置

    Master 节点

    节点数量 1

    主要负责 ResourceManager 和 NameNode 等控制进程的部署,根据场景需求,选择合适节点数量及机型规格,选型配置详见创建集群

    Core 节点

    节点数量 2

    主要负责集群所有数据的存储,创建集群完成后也支持按需进行扩容,根据场景需求,选择合适节点数量及机型规格,选型配置详见创建集群

    Task 节点(可选)

    不添加

    不保存数据,调整集群的计算力时使用。默认不开启,需要时可自行添加,最高可添加 5个 Task 节点组。

    基础信息

    集群名称

    EMR-Hadoop

    输入集群名称,只能包含中文、字母、数字、下划线和中划线。

    访问凭证

    密码

    用于远程登陆集群master节点ECS机器

    秘钥对/密码

    xxxxxxx

    自定义集群登录密码。

    集群配置-自定义创建方式,详见创建集群

  2. 配置参数填写完成后,勾选我同意EMR服务条款, 单击立即创建按钮,完成集群创建。

  3. 进入集群控制台 > 集群列表查看创建的集群,待集群状态更新为运行中,即代表创建成功。

后续步骤

当前已完成 EMR 集群的创建工作,后续您便可以开始创建并运行 EMR 相关作业。详见创建并运行作业