满足 Shell 开发业务场景,支持标准 Shell 语法及引用镜像完成开发。
注意
若仅开通 Dataleap大数据集成服务,不支持创建 Shell 任务。
任务创建成功后,进入代码开发编辑界面。
echo "Hello World !"
echo ${date}
说明
若是子账号登录创建任务时,选择网络环境需具备相关服务使用权限,需主账号在访问控制中,添加 DataLeapFullAccess 权限。
产出数据登记用于记录任务的数据血缘,不会对代码逻辑造成影响。
单击进入右侧侧边栏执行设置窗口。
选择计算资源组:支持选择公共计算资源组,独享计算资源组。
镜像地址:
支持您自定义镜像,建议使用火山引擎镜像仓库,填写示例如下:
说明
DataLeap 额外提供了以下镜像地址,您可根据实际场景进行使用:
镜像地址 | 说明 |
---|---|
dataleap-cn-beijing.cr.volces.com/studio/datax:v1 | 包含 DataX 工具集的公共镜像地址,您可使用该镜像地址,通过 Shell 任务,使用 DataX 的数据集成同步框架,创建各数据源间的通道任务,最佳实践案例详见:Shell 调用 DataX。 |
dataleap-cn-beijing.cr.volces.com/studio/mysql:0.0.1 | 您可使用该镜像地址,通过 DataLeap 中的 Shell 节点任务,来访问或操作兼容 MySQL 协议的相关数据库表信息,如支持连接 MySQL 数据库表、火山引擎 E-MapReduce(EMR) Doris 数据库表等 |
资源配置:资源可根据实际需求进行配置,以 CU 为单位,默认配置 1CU(1CU = 1Core 4GB),下拉可选择更多规格的资源配置。
说明
其中 0.25CU、0.5CU 规格,仅独享计算资源组支持选择。
资源选择:
Shell 任务支持在任务编辑中使用通用资源,通过访问 Jar、File、Zip 等资源类型,来提升数据开发效率。
在资源选择下拉框中,选取任务中所需使用到的资源,若还未创建资源,您也可单击新建资源按钮,前往资源库进行新建。新建资源操作详见资源库。
单击任务模板按钮,您可以选择是否通过任务模板方式,便捷快速的复用代码模板逻辑,在弹窗中选择使用 Shell 任务模板,并选择相应的版本号,输入替换的参数即可完成复用。
注意
进入右侧边栏调度设置,配置节点调度相关属性。设置操作详见:调度设置。
注意
Shell任务上游依赖设置,不支持依赖推荐功能,只能通过手动添加的方式,添加上游依赖关系。
配置完成后,单击上方操作栏中保存图标按钮,保存节点至服务器。
单击操作栏中调试图标按钮,执行编辑的Shell命令,执行成功后,可在界面下方查看运行日志和结果。
注意
任务所需参数配置和调试任务成功后,将任务提交发布到运维中心离线任务运维中执行。
单击上方操作栏中的保存和提交上线按钮,在提交上线对话框中,选择回溯数据、监控设置、提交设置等参数,最后单击确认按钮,完成作业提交。 提交上线说明详见:数据开发概述---离线任务提交。
后续任务运维操作详见:离线任务运维。