本文为您介绍 DataSail 任务各种任务类型的日志查看方式,方便您可快速获取执行日志进行错误排查。
1 日志查看入口 DataSail 目前支持离线集成、实时集成、整库解决方案三种任务类型,各任务类型日志查看入口如下:
1.1 离线集成 离线集成任务发布至运维中心执行后,您可通过以下方式进行日志查看:
登入DataLeap 控制台 。 进入数据开发 > 运维中心 > 离线任务运维 界面。 左侧导航栏选择【实例运维】,通过任务名称或任务 ID 信息,筛选需要查看日志的任务。 单击操作列的【查看日志】按钮,进入实例日志界面。 进入实例日志页后,切换到【执行日志】页签,便可查看指定时间范围内的日志信息:
您可根据需要,可选择相应的日志类型进行查看,支持查看 Job Manager、Task Manager、Client 日志类型。 在对应的日志类型下,您也可下拉选择 log、err、out 类型,或在日志等级中,选择对应的等级,进行快速查看对应的日志,如快速排错,可选择【ERROR】后进行搜索查看。 单击【刷新】按钮,您可实时查看最新的日志信息。 单击【下载】按钮,可将全部日志下载至本地后,进行查看。说明
单次最多下载 20000 行日志,若搜索查看的日志较多时,您可缩小查询条件后,分批进行下载。
进入实例日志页面后,切换到【任务运行事件】页签,可查看当前实例下任务启动过程、运行过程中的事件信息,比如任务状态变化:任务失败、重启等事件类型。
单击操作列下的【查看此实例ID事件】按钮,可快速复制实例 ID 信息,并填充进上方搜索框中进行快速搜索。
1.2 实时集成 登入DataLeap 控制台 。 进入数据开发 > 运维中心 > 实时任务运维 界面。 在左侧导航栏中选择【任务运维】,通过任务名称或任务 ID 信息,筛选需要查看日志的任务。 单击操作 列中的日志 > 执行日志 按钮,进入实时任务执行日志界面。 在执行日志界面,您将看到最新的执行日志信息。您也可通过以下筛选项,进行更精确的日志范围搜索或日志下载操作:
界面默认展现当前最新执行的作业实例,从开始执行后到现在的日志信息,您可在【作业实例】处,下拉选择历史实例的时间段;也可直接通过指定【时间】范围来进行查看。 您也可根据需要,可选择相应的日志类型进行查看,支持查看 Job Manager、Task Manager、Client 日志类型。 在对应的日志类型下,您可下拉选择 log、err、out 类型,或在日志等级中,选择对应的等级,进行快速查看对应的日志,如快速排错,可选择【ERROR】后进行搜索查看。 在关键词输入框中,您也可通过输入日志中相应的关键词信息进行搜索。 单击【刷新】按钮,您可实时查看最新的日志信息。 单击【下载】按钮,可将全部日志下载至本地后,进行查看。说明
单次最多下载 20000 行日志,若搜索查看的日志较多时,您可缩小查询条件后,分批进行下载。
1.3 整库解决方案 登入DataLeap 控制台 。 单击左侧引擎管理下的【全域数据集成】入口,进入 DataSail 概览界面。 单击右侧导航栏【数据同步方案】入口,进入解决方案列表详情页。 通过各搜索筛选项,选择需要查看日志的解决方案,单击运维 列中的执行详情 按钮,进入查看详细的解决方案执行步骤。 单击子任务中增量流任务启动 的执行详情 按钮,并单击弹窗中运维 列下的更多 > 去运维 按钮,前往实时集成任务运维界面,进行查看实际执行日志。
如果批任务有问题,您也可单击一次性全量批任务启动 中的执行详情 。 在运维界面中,各任务类型的日志查看方式便和上述离线集成 或实时集成 的操作一致,剩余操作详见上方1.1 离线集成 、1.2 实时集成
2 常见异常日志诊断 问题类型
日志关键字
解决方案
资源不够
OutOfMemoryError
任务资源分配异常,您可通过以下两个方向进行资源调整:
任务进行资源调优 资源进行扩容 字段类型问题
ErrorMessage
com.bytedance.dataplatform.dts.solution.exception.SolutionException: call CoralCreateDataStore error due to StarRocks资产创建失败,原因: java.lang.RuntimeException: com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Getting syntax error at line 12, column 32. Detail message: Unexpected input '游æˆ�', the most similar input is {',', ')'}.
MySQL 表字段值处理异常,请查看数据源对该字段的支持情况支持的数据源--大数据研发治理套件-火山引擎
表设置问题
表分区不存在
Caused by: com.aliyun.odps.tunnel.TunnelException: RequestId=20240110002125c2c7dc0b02a8fc69, ErrorCode=NoSuchPartition, ErrorMessage=The specified partition does not exist.
任务写入的分区表不存在,需要建表完成后,重启任务。