LAS SQL--大数据研发治理套件-火山引擎

文档中心

立即注册

导航

LAS SQL

最近更新时间：2024.10.16 14:10:10首次发布时间：2021.12.02 14:32:22

1 概述

使用 LAS SQL 语句，从源表中获取待加工数据，加工完成后写入目标表。LAS 仅支持 Spark、Auto 执行引擎。
下面将向您介绍 LAS SQL 任务配置的详细说明。

2 任务配置说明

2.1 新建任务

登录 DataLeap租户控制台。
在概览界面，显示加入的项目中，点击数据开发进入对应项目。
在任务开发界面，左侧导航栏中，点击新建任务按钮，进入新建任务页面。
选择任务类型：
1. 分类：数据开发。
2. 绑定引擎：LAS。
3. 关联实例：default。
4. 选择任务：离线数据 LAS SQL 。
填写任务基本信息：
1. 任务名称：输入任务的名称，只允许字符.、字母、数字、下划线、连字符、[]、【】、（）、()以及中文字符，且需要在127个字符以内。
2. 保存至：选择任务存放的目标文件夹目录。
点击确认按钮，成功创建任务。

2.2 编辑任务

任务创建成功后，进入代码编辑器界面，以 HSQL 语句示例代码如下：

//方式1静态分区,场景：根据数据到来的频率，新数据的到来时间确定，分区的值是确定的。
insert overwrite table 目标库名.目标表名 partition (date = "${date}")
select
name,
age
from
源库名.源表名
where
date = '${DATE-1}'

//方式2动态分区，谨慎使用，根据已有数据进行动态分区，分区的值是非确定的。
insert overwrite table 目标库名.目标表名 partition (p_date,app)
select
user_id,
date as p_date,
app_name as app//分区字段
from
源库名.源表名
where
date = '${DATE-1}'

说明

DML 语句暂不支持和 DDL 语句放在同一个节点任务中并行使用。目前 DML 语句会针对性的对 LAS 表提前进行优化判断，当在同一个任务中使用 DDL 建表并立刻运行 DML 插入时，LAS 内表目前暂时无法应用内表优化规则，导致执行失败。对于 LAS 外表在 DDL+DML 时，DML 则无法立刻获得 TOS 认证信息。因此，如果您原来的单任务中有 DDL+DML 一起的情况下，需要先建一个任务运行 DDL，再新加 DML 语句进行修改。

2.3 智能代码编辑器

智能代码编辑器具备以下能力：

功能	说明
Text Editor	具备 Editor 基础能力、列编辑、代码格式化、代码解析等，辅助提升开发效率。
智能联想及补全	开发过程中，支持智能联想库、表、字段、函数、SQL 关键词等。
实时语法检查	开发过程触发智能语法检查。
语法解析	完成 SQL 编写后，可以点击解析按钮，检查代码是否存在语法错误以及是否具备引用库表的读写权限。
语法高亮	在关键字、函数、参数、字段、字符串等信息中，高亮提醒，提高整体代码的可阅读性。
跳转定义	支持快捷键跳转到数据地图表详情页，Mac 按住 Command，Windows 按住 Control 。
字段展开	编写Select 查询语句时，使用光标选中号后，会立即有灯泡符号的提示，点击灯泡将自动列出引用表字段。
代码列编辑	通常需要在 DDL 语言中批量对数据类型，注释，列增加前缀、后缀进行编辑。 Mac 按住 ⇧ + ⌥ + Click ，Windows 按住 Shift + Alt + Click 。
局部代码调试分析	支持多段 SQL 调试运行。选中某一个分段代码，即可对其运行、格式化、解析等操作。
编辑器右下角的全屏图标	点击图标，支持全屏代码开发。

2.4 导航栏功能区解析

注意

任务被模板使用后，格式化、表管理、执行引擎选择功能将不支持使用。

功能名称	描述
格式化	依据在个性化设置中的SQL格式化风格的设置，格式化书写的代码，使其语法结构看起来简洁明了。
解析	解析检查书写的 SQL 代码的语法和语义正确性，运行前检查语法错误信息，防止运行出错。
任务模板	您可以选择是否通过任务模板方式，便捷快速的复用代码模板逻辑，在弹窗中选择 LAS SQL 任务模板，并选择相应的版本号，输入替换的参数即可完成复用。注意使用任务模板时，界面编辑器不支持再次编辑，若当前任务模板代码，不符合您当前业务场景逻辑，您可通过修改或新建任务模板，形成新版本的任务模板，来实现不同业务场景的复用。修改模板时，需注意其他任务引用情况，操作说明详见：任务模板。
表管理	若数据需要存入的 Hive 表尚未创建，则编写完 SQL 语句后，点击表管理 > 快速建表，可基于解析代码快速填充建表页面。
执行引擎	支持 Spark、Auto 两种执行引擎，其中 Auto 支持引擎自动路由，可加速 SQL 执行。

2.5 调度设置

右侧导航栏中，进入调度配置界面，您可以在此设置LAS 队列信息，调度属性等信息，详细参数设置详见：调度设置。

注意

子账号选择LAS队列时，需要有队列使用权限，需主账号前往 LAS控制台-权限管理授予子账号队列权限。

2.6 查询控制台

2.6.1 调试任务

代码逻辑和参数配置完成后，您可以在界面进行调试操作。
编辑器上方，点击保存按钮后，再点击调试按钮，开始运行任务。

注意

调试操作，直接使用线上数据进行调试，需谨慎操作。
如果 DataLeap 控制台中创建了相关的建表规范管理，则 LAS SQL 语句中，包含建表逻辑，且创建的表在建表规范生效范围内时，您在对任务的解析、运行或提交时，会触发相应的建表规范检查。建表规范操作说明请参见“建表规范管理”。
本任务类型支持调试执行成功或失败后发送消息通知，您可根据业务情况，前往项目控制台 > 配置信息 > 消息通知设置中，选择是否开启任务调试运行成功或失败通知。
- 默认通知方式为邮箱，您需在“账号管理”中，提前绑定相应的安全邮箱信息；
- 您也可根据业务需要，自行配置飞书应用机器人，通过飞书的方式发送消息通知，飞书消息通知前置操作详见1.1 飞书应用机器人创建。

2.6.2 调试记录

调试任务开始运行后，可在下方查看调试记录，您也可以查看任务的历史运行记录，包括状态、业务日期、开始时间、结束时间、耗时、提交人等。点击操作列的查看按钮，可以查看以下详情内容：

数据结果：运行代码查询结果
概览：查看运行结果的代码。
日志：查看运行详情，可下载日志。

2.6.3 查询结果Excel展示

一段代码执行完成后，会展现查询结果，在整个结果页中用了类似 Excel 功能，无需跑多段代码就可对数据进行操作和分析，以增强代码逻辑的改进。功能描述如下：

功能	说明
单列字段搜索	对单个字段进行模糊和精确查找。
升降序排列	数据排序功能。
切换图表	对默认展示数据做图分析使用，同时可以定义筛选维度（不同类型的图表，字段类型有限制要求。例如：柱形图、条形图、饼图这类图表，至少需要一个 string 字段类型，和一个 number 字段类型）。
隐藏列	只显示需要操作的列数据。
复制该行	鼠标移动到想要复制的具体某条数据，点击复制该行，即完成复制整行操作。
复制该列	鼠标移动到想要复制的具体某条数据，点击复制该列，即完成复制整列操作。
复制选中	鼠标圈选需要复制的数据，点击复制选中，即完成复制选中的数据。
全局搜索	在整个工作表中查找数据。
下载	项目控制台 > 配置信息 > 数据安全设置 > 查询结果勾选允许下载时，才支持下载结果页数据。因结果页界面预览数据上限为 1000，以及项目数据安全设置均存在限制，查询结果显示数据可能小于实际数据量。建议按如下处理方式：前往项目控制台，调整项目数据安全设置上限，上限 1 万行。查询结果区域点击下载按钮，下载完整数据至本地查看。操作详见：新建项目。

2.6.4 查询优化建议

点击概览，可以查看错误关键信息，无需通过翻阅日志查找。

3 提交任务

任务所需参数配置和调试任务成功后，将任务提交发布到运维中心离线任务运维中执行。单击上方操作栏中的保存和提交上线按钮，在提交上线对话框中，选择回溯数据、监控设置、提交设置等参数，最后单击确认按钮，完成作业提交。提交上线说明详见：数据开发概述---离线任务提交。
后续任务运维操作详见：离线任务运维。