展示任务的运行实例信息,可实时查看实例状态变化,通过依赖、诊断和日志快速定位异常,同时可对实例进行重跑、置成功、终止等操作。
1 进入实例运维
- 登录 DataLeap租户控制台。
- 在对应项目下单击运维中心 > 离线任务运维 > 实例运维界面。
2 实例筛选搜索
实例列表按任务名称和业务日期聚合,展示对应业务日期,最新一个实例相关信息。可通过筛选和搜索,快速查找到指定实例,具体筛选和搜索项有:
- 筛选项:业务日期、任务类型、运行状态、定时时间、开始时间、运行类型、存储目录、调度周期、责任人、任务标签和优先级别。
- 搜索项:任务 ID /名称,Code,配置参数、项目参数和 ID 列表。
Code 代码,配置参数、项目参数和 ID 列表搜索,您可以在下拉框中选择。
- 重置:重置按钮可以将筛选项都清除,列表中展现出项目下所有的任务实例。
- 快速筛选:
- 我的任务:展示当前账号作为责任人的任务的实例。
- 我的失败任务:当前账号作为责任人的任务,且运行状态为失败的实例。
- 我的未完成任务:当前账号作为责任人的任务,且运行状态不是失败或是成功的实例。
3 查看任务实例列表
3.1 实例诊断
注意
实例诊断功能,DataLeap 产品需要购买 “DataOps敏捷研发”、“湖仓一体” 或 “分布式数据自治” 的服务解决方案。
单击运行状态**诊断,**进入实例诊断页面,该页面由三部分内容组成,分别是执行详情、失败信息和延迟运行分析。
- 执行详情:实例的执行详情,若任务配置有质量监控,可在此处查看对应的质量监控规则的运行情况。
- 失败信息:当实例运行状态为失败,可在此处进入查看详细日志信息,查看任务失败的具体原因。
- 延迟运行分析:当实例运行状态为等待运行,则在此处可查看等待运行的关键链路信息;当实例运行状态为成功或是失败,则在此处可查看最晚完成链路信息。
3.2 单实例操作列
功能 | 说明 |
---|
实例 DAG | 进入实例依赖展示页面,查看实例上下游,支持通过图形或列表,两种模式查看。
详见下方查看实例 DAG 图。 |
重跑 | 对选中成功或失败的实例进行重跑操作,在实例重跑窗口中,您可设置“指定可调度时段”、“依赖检查”、“指定重跑队列”、“指定重跑调度资源组”、“提升回溯优先级”等配置项。 注意 - 实例重跑时,若需要指定运行时段,则 DataLeap 产品需要购买 “DataOps 敏捷研发”、“湖仓一体” 或 “分布式数据自治” 的服务解决方案。
- 如果失败的实例,在重跑之前已在数据开发界面调整了代码并重新提交发布,则重跑和后续未运行的实例均会使用最新的代码来运行任务。
- 指定重跑队列目前仅支持 LAS 引擎下的任务类型进行指定,如 LAS SQL、LAS Spark 类型,下拉可选当前项目中已绑定的 LAS 队列信息。绑定操作详见创建项目。
|
查看日志 | 进入实例日志页面,查看实例的日志概览和日志详情信息。
其中数据集成任务类型,可支持查看其调度日志、具体执行日志和任务运行事件等信息。详见DataSail 日志查看和诊断。 说明 任务运行事件包含任务启动过程、运行过程中的事件信息,比如任务状态变化:任务失败、重启等事件类型。 |
云监控 | 离线集成任务类型,支持查看任务云监控详情,单击云监控按钮,进入云监控界面,查看集成任务的读写指标、资源组使用率等监控指标信息。 |
编辑任务 | 进入任务开发界面,再次编辑修改任务。 |
置成功 | 可对尚未运行结束的实例和失败的实例,进行置成功操作。
尚未运行结束的实例:单击更多-置成功,停止实例运行,实例状态变为成功。
已失败的实例:单击更多-置成功,实例状态从失败变为成功。 |
终止 | 可对尚未运行结束的实例,进行终止操作。
尚未运行结束的实例:单击更多-终止,停止实例运行,实例状态变为终止。 |
操作日志 | 当前实例的操作记录,例如重跑、置成功实例等操作记录。 |
3.3 批量操作实例
在实例列表中,您可以勾选多个实例,在下方的操作栏中进行批量任务操作:进行终止、重跑、置成功、导出等批量操作。
3.4 查看实例 DAG
实例列表中,单击任务名称或者操作列中的实例 DAG 按钮,进入DAG 展示界面。
3.4.1 血缘展示支持以下两种模式:
- DAG 模式:
- 所有 DAG 图,您可选择居中、或按照指定百分比来显示。
- 单击右侧齿轮图标,您可自定义聚合节点设置,当界面展现的同级节点数 ≥ N 时(N 可自定义),DAG 可以以聚合节点方式呈现。
- 右键实例 DAG 图,可单击实例重跑、数据回溯、终止、置成功、查看日志、查看实例、查看任务等操作。
- 单击 DAG 图上下边界的 “+” 图标,您可手动展开任务的上下游依赖。
- 列表模式:
- 血缘类型:勾选展现上游或下游血缘,并输入展示几层血缘,默认展示1层,下方列表中即会展现上下游血缘列表。
- 血缘列表搜索:您可以筛选展示的层级、运行状态、任务责任人、任务类型,或直接输入任务名称、ID或项目名称进行搜索相关血缘的实例。
- 批量操作任务:您可以勾选多个任务,单击右上方的重跑、终止、置成功按钮,来批量操作。
- 操作列:您可以在操作列中进行单实例的重跑、终止、置成功、编辑任务、历史运行耗时、以及查看操作日志等操作。
- 导出至 Excel:您可以将展示的血缘关系列表,导出至本地 Excel 文件。
3.4.2 实例详情
您可以查看生产环境中周期任务实例的运行诊断、运行日志、属性、操作日志及代码是否符合预期。
- 运行诊断:查看执行详情、失败信息或延迟运行分析等诊断信息,详见:3.1实例诊断。
- 运行日志:查看实例运行的日志概览和日志详情。
- 属性:展示当前实例的名称、责任人、运行状态、开始/结束时间、调度周期等基本信息。
- 操作日志:您对实例的操作,例如终止、重跑、置成功等操作,均会记录在操作日志中,方便后续回溯任务相关操作记录。
- 代码:离线任务除数据集成同步任务外,可以展现任务的逻辑代码。