在火山引擎 E-MapReduce(EMR)集群中添加引导操作,可以安装您需要的第三方软件或者修改集群运行环境。本文为您介绍如何添加、编辑、克隆和删除引导操作。
您最多可以添加10个引导操作。引导操作会按照您最新添加的引导操作开始执行。
默认用 root 账户执行。
参数 | 描述 |
---|---|
引导名称 | 引导操作的名称。 |
脚本位置 | 选择脚本所在 TOS 的位置,如您没开通 TOS 相关服务请先授权。 说明
脚本路径格式必须为 tos://**/*.sh 格式。 |
参数 | 引导操作脚本的参数,指定脚本中所引用的变量的值。 |
执行范围 |
|
执行时间 |
|
执行失败策略 |
|
如果在创建集群时添加了引导操作,您可以在初始化集群操作日志中看到对应步骤或者在集群详情 > 引导操作页签中单独查看每条引导操作执行的情况。
您可以登录到主节点的 /var/log/bootstap/<节点名称_IP> 路径查看执行日志。如果集群配置了 TOS 日志目录,运行日志也会上传到 tos-path/emr/clusterid/log/bootstrap/<节点名称_IP> 目录。
登录 EMR 控制台。
在左侧导航栏中,单击集群管理 > 集群列表 > 集群名称,进入需配置引导操作的集群详情界面。
在集群详情界面,单击引导操作页签,进入引导操作配置界面。
在右侧单击添加引导操作,在弹窗中,按照上述方式一中所述的填写参数介绍,进行添加引导操作配置。
说明
如选择方式二这种方式添加引导操作,这些引导操作只会在扩容操作所新创建出来的节点上执行!
在引导操作页面,在待编辑引导操作所在行,单击操作列中的编辑按钮。
在编辑引导操作对话框中,您可以根据需求修改所有配置项。
在引导操作页面,在待克隆引导操作所在行,单击操作列中的克隆按钮。
在弹出的添加引导操作对话框中,您可以根据需求修改所有配置项。
在引导操作页面,在待删除引导操作所在行,单击操作列中的删除按钮。
在二次确认弹窗中,根据需要选择是否删除,单击确定按钮,即完成删除。
您可以在上传的 TOS 脚本中写入以下内容来创建文件夹、解压压缩包以及安装软件包等一系列操作。
#!/bin/bash mkdir dir tar -zxvf <myfile>.tar.gz -C /<yourdir> yum install -y ld-linux.so.2
Q1:EMR 引导脚本执行中断,但日志内没有报错信息。
A1:建议您在脚本中的关键位置增加日志打印逻辑,以便通过运行日志辅助您排查脚本运行情况。目前集群脚本最为常见的报错原因有以下几类:
网络连接性问题。ECS 实例和对应的 TOS 需要在同一地域下。例如,北京地域下的 ECS 实例连接不上非北京地域下的 TOS。
ECS 获取 AccessKey 信息失败问题。通常是由于 ECS 实例未绑定 VEECSForEMRRole 导致的。
脚本中使用了 nohup,但又未重定向输出,将导致 Task 长时间无法退出。正确用法为nohup ... >*** 2>&1
。
脚本在 Windows 环境下编辑会带有 Windows 的换行符号,导致脚本在 Linux 环境下运行出错。您可以在操作历史报错日志中查看是否有^M
字样。如果有的话建议您在 Linux 环境下重新编辑脚本并上传 TOS。
使用 wget 命令下载程序包超时,请检查 ECS 节点是否连接公网。
使用的指令未找到,请检查 ECS 节点是否安装了此命令。
Q2:EMR 引导脚本执行无 YARN、HDFS 等命令。
A:目前 EMR 管控执行集群脚本时默认不带有任何 profile 信息,如果您需要使用 YARN、HDFS 等相关命令,请在脚本开头加入 . /etc/profile
加载,便可以使用上述命令。
Q3:输入的脚本参数未起作用。
A3:输入的参数以空格分隔,我们会按顺序在您的脚本中替换字样为 $1、$2 以此类推等字符为您输入的参数。注意,如果您的脚本带有自定义函数,且函数内的参数如果含有 $1、$2 等字样也会一并替换,导致该函数不可用。