在可视化建模任务概览部分,可以查看项目内所有可视化建模任务的情况概览,包括任务状态统计和任务列表两部分内容。在可视化建模任务的的详情部分,可以查看到可视化建模任务的详细配置信息,包括基本信息、处理流程、输入&输出表数据预览、运行记录。
在任务概览页,用户可查看项目内所有的可视化建模任务,支持按任务名称、输入,输出、创建人搜索任务。点击可视化建模任务名称,可以跳转该任务详情页。
统计各任务业务日期最近的运行记录的状态,点击卡片即筛选该状态。 各状态定义:
搜索 支持按任务名称/输入/输出/创建人来搜索任务。
筛选
排序:支持按最近运行时间排序。
操作
支持手动触发或回溯特定区间任务的运行。勾选需要运行的对象并选择运行业务时间,点击确认即可。
点击运行记录,可跳转至该任务的详情页面,查看该任务的运行记录。
点击编辑按钮,会跳转至任务的编辑页面。
用户可在概览页快速一键删除任务,删除后的任务将进入回收站,任务不会再调度运行, 15天内任务可恢复,15天后将自动彻底删除。该操作仅对建模任务进行删除,不会删除对应数据集数据。
任务基本信息:创建人、创建时间、运行频率、最近运行时间、最近修改时间等信息。
顶部支持以下操作:
处理流程预览: 支持缩放和拖动查看; 输出列表: 展示输出节点对应表名和最近运行信息;
可查看并快速修改运行配置。
支持查看运行记录列表:
血缘有2种展示模式:图谱模式与列表模式。
实时任务详情页面展示任务基本信息(创建人/创建时间等),方便用户查看。
- 脏数据:一段时间内因不符合数据规则未成功写入的数据(数据丢失),称之为脏数据。
- 产生环节:1.数据输入:推送数据与topic表结构不一致;2.处理阶段:IDM关联时未找到映射关系
- 如果是kafka直接到CK的消费链路,无计算算子,该类任务暂时不能统计脏数据情况。
监控配置流程:
* 消费监控:可添加消费监控条件,可选三种,分别为,消费延迟监控、写入断流监控、写入上涨监控,同时输入连续x分钟,以及累计消费延迟大于x条1数据。
* 任务监控:选择需要监控的数据档案
* 监控通知:选择接收脏数据报警的方式,邮件、WebEx、邮件组
点击 回收站 ,可以看到近15天内删除的可视化建模任务情况,包括任务名、所有者信息、完全删除的剩余时间、完全删除/恢复。