You need to enable JavaScript to run this app.
导航
任务概览与详情
最近更新时间:2024.07.16 16:08:02首次发布时间:2024.03.28 11:23:42

1.功能概述

在可视化建模任务概览部分,可以查看项目内所有可视化建模任务的情况概览,包括任务状态统计和任务列表两部分内容。在可视化建模任务的的详情部分,可以查看到可视化建模任务的详细配置信息,包括基本信息、处理流程、输入&输出表数据预览、运行记录。

2.任务概览

在任务概览页,用户可查看项目内所有的可视化建模任务,支持按任务名称、输入,输出、创建人搜索任务。点击可视化建模任务名称,可以跳转该任务详情页。
图片

2.1 任务状态统计

统计各任务业务日期最近的运行记录的状态,点击卡片即筛选该状态。 各状态定义:

  • 运行成功:成功——所有输出全部成功
  • 运行失败:失败、终止——存在失败或终止的输出
  • 正在运行:等待调度、等待上游依赖完成、同步中——存在正在执行的输出,且无失败的输出
  • 其他:还未运行过,无明确运行状态的任务

2.2 任务列表

搜索 支持按任务名称/输入/输出/创建人来搜索任务。
筛选

  • 运行类型:全部/手动运行/周期运行
  • 创建人:所有人/只看我的

排序:支持按最近运行时间排序。
操作

  • 运行:选择该任务的输出和业务日期,批量运行
  • 运行记录:跳转该任务详情页运行记录tab
  • 编辑:进入该任务编辑页
  • 删除:删除到回收站,保留15天后彻底删除

2.3 任务操作-运行

支持手动触发或回溯特定区间任务的运行。勾选需要运行的对象并选择运行业务时间,点击确认即可。
图片

2.4 任务操作-运行记录

点击运行记录,可跳转至该任务的详情页面,查看该任务的运行记录。
图片

2.5 任务操作-编辑

点击编辑按钮,会跳转至任务的编辑页面。

2.6 任务操作-删除

用户可在概览页快速一键删除任务,删除后的任务将进入回收站,任务不会再调度运行, 15天内任务可恢复,15天后将自动彻底删除。该操作仅对建模任务进行删除,不会删除对应数据集数据。

3.离线任务详情

3.1 基本信息

任务基本信息:创建人、创建时间、运行频率、最近运行时间、最近修改时间等信息。
图片
顶部支持以下操作:

  • 权限分配:为可视化建模任务分配权限;
  • 编辑:编辑修改数据集配置;
  • 操作:重命名、移动、复制、授权、转移所有者、删除。

3.2 处理流程

处理流程预览: 支持缩放和拖动查看; 输出列表: 展示输出节点对应表名和最近运行信息;
图片

3.3 数据预览

  • 支持选择输入/输出表;
  • 支持表结构/明细数据两种预览模式;

图片

3.4 运行记录

可查看并快速修改运行配置。
支持查看运行记录列表:

  • 搜索:支持搜索输出表
  • 筛选:支持运行状态筛选
  • 列表操作:所有状态都支持“重跑”,正在运行状态支持“终止”
  • 批量运行:选择输出数据和业务日期,提交批量运行

图片

3.5 血缘视图

血缘有2种展示模式:图谱模式与列表模式

  • 图谱方式:以可视化图形链路展示血缘关系、清晰直观。
  • 列表方式:以表格形式展示具体资源,快速了解具体的资源列表,方便定位到某资产。

图片

4.实时任务详情

实时任务详情页面展示任务基本信息(创建人/创建时间等),方便用户查看。
图片

  • 运行&消费记录
    • 运行记录:展示输出节点基本信息及“输出内容”。
    • 生产消费统计:展示任务名称,便于识别;支持滑动查看,适应多任务显示,支持悬停查看完整信息。
    • 脏数据统计:
  1. 脏数据:一段时间内因不符合数据规则未成功写入的数据(数据丢失),称之为脏数据。
  2. 产生环节:1.数据输入:推送数据与topic表结构不一致;2.处理阶段:IDM关联时未找到映射关系
  3. 如果是kafka直接到CK的消费链路,无计算算子,该类任务暂时不能统计脏数据情况。
  1. 脏数据总数与趋势统计:引入统计功能,提供脏数据总数和趋势的可视化展示。
  2. 脏数据列表与原因说明:创建详细的脏数据列表,并对每条脏数据的产生原因进行说明。
  3. 脏数据监控与报警机制:当检测到脏数据时,触发报警通知。

图片

监控配置流程:
* 消费监控:可添加消费监控条件,可选三种,分别为,消费延迟监控、写入断流监控、写入上涨监控,同时输入连续x分钟,以及累计消费延迟大于x条1数据。
* 任务监控:选择需要监控的数据档案
* 监控通知:选择接收脏数据报警的方式,邮件、WebEx、邮件组

  • 处理流程:
    • 处理流程预览:支持缩放和拖动查看;
    • 输出列表:展示输出节点对应表名和最近运行信息;
  • 数据预览:
    • 支持选择输入/输出表;
    • 支持表结构/明细数据两种预览模式;

5.回收站

点击 回收站 ,可以看到近15天内删除的可视化建模任务情况,包括任务名、所有者信息、完全删除的剩余时间、完全删除/恢复。
图片