数据校验任务管理--数据库传输服务-火山引擎

文档中心

立即注册

导航

数据校验任务管理

最近更新时间：2024.09.26 14:55:33首次发布时间：2023.11.02 14:15:44

本文介绍如何在数据库传输服务 DTS 控制台查看数据校验任务和管理数据校验任务。

前提条件

已配置数据校验任务。详细操作，请参见配置数据校验任务。

查看数据校验任务

说明

建议全量内容校验、全量行数校验和结构校验任务的任务状态为校验完成时再查看校验详情；增量校验任务建议在增量数据变更的时间点之后时再查看校验详情。

在数据校验任务列表页面查看数据校验任务
1. 登录 DTS 控制台。
2. 在顶部菜单栏的左上角，选择项目和地域。
3. 在左侧导航栏，单击数据校验。
4. 在数据校验列表页面，查看所有校验任务的信息，包括校验任务名称/ID、任务状态、任务进度、任务类型、任务结果、关联迁移/同步任务、源库、目标库、开始时间、结束时间等信息。
5. 单击目标任务名称，查看以下信息：
  - 任务信息：在任务信息页签，支持查看校验任务的基本配置、源库信息和目标库信息。
  - 任务进度：在任务进度页签，您可以查看校验任务的状态、源端行数、目标端行数、不一致对象数、预估总行数、开始时间和结束时间等信息。同时如果存在不一致数据，您也可以在该页签下载不一致数据。
  - 监控：只有执行中的增量校验任务支持展示监控信息。在监控页签，您可以查看指定时间内的指标项包括增量校验不一致数和增量校验延迟。具体如下所示：
    - 增量校验不一致数：表示从任务开始到现在，有增量改动的数据中，两端存在不一致的行数。
    - 增量校验延迟：表示增量校验已校验的位点与最新位点的时间差。单位为分钟（min）。
  - 预检查：在预检查页签，您可以查看数据校验任务预检查的基本信息和预检查结果。关于预检查的更多信息，请参见预检查（数据校验）。
在 DTS 迁移或同步实例中查看数据校验任务
1. 登录 DTS 控制台。
2. 在顶部菜单栏的左上角，选择项目和地域。
3. 在左侧导航栏，单击数据迁移或数据同步。
4. 在迁移任务列表或数据同步列表页面，单击目标任务名称。
5. 在目标任务名称页面，单击数据校验。
6. 在数据校验页签，查看数据校验任务详情包括任务 ID、任务名称、任务进度、任务状态、diff 数、预估总数、diff 率、开始时间、结束时间等。
  说明
  增量校验任务最多显示 10000 行 Diff 数据。其他类型的校验任务最多支持显示 100 行 Diff 数据。

下载数据校验结果

下文介绍如何在数据库传输服务 DTS 控制台下载数据校验结果即不一致数据。

说明

增量校验任务仅支持在执行过程中且存在不一致的数据时支持下载；其他校验任务只有在校验任务结束后且存在不一致数据时支持下载。
下载增量校验的不一致数据前，需先生成不一致的数据然后再下载，否则无法下载不一致数据。
校验完成且校验结果一致的校验任务，则表示源端和目标端不存在不同的数据因此无需下载。

在数据校验任务列表页面下载校验结果
1. 登录 DTS 控制台。
2. 在顶部菜单栏的左上角，选择项目和地域。
3. 在左侧导航栏，单击数据校验。
4. 在数据校验列表页面，筛选任务结果为不一致。
5. 按需下载不一致数据。
  - 增量校验任务
    1. 单击操作列下载的下拉列表。
    2. 单击生成不一致数据。
    3. 单击下载已有不一致数据。
  - 其他类型校验任务：单击目标任务操作列的下载。
在 DTS 迁移或同步实例中下载数据校验结果
1. 登录 DTS 控制台。
2. 在顶部菜单栏的左上角，选择项目和地域。
3. 在左侧导航栏，单击数据迁移或数据同步。
4. 在迁移任务列表或数据同步列表页面，单击目标任务名称。
5. 在目标任务名称页面，单击数据校验。
6. 在数据校验页签，筛选任务结果为不一致。
7. 按需下载不一致数据。
  - 增量校验任务
    1. 单击操作列下载的下拉列表。
    2. 单击生成不一致数据。
    3. 单击下载已有不一致数据。
  - 其他类型校验任务：单击目标任务操作列的下载。

后续操作

当目标任务的状态保持一致且满足终止、暂停、启动、删除和重试时支持批量操作。

登录 DTS 控制台。
在顶部菜单栏的左上角，选择项目和地域。
在左侧导航栏，单击数据迁移或数据同步。
在迁移任务列表或数据同步列表页面，单击目标任务名称。
在目标任务名称页面，单击数据校验。
在数据校验页签，管理校验任务。
- 终止校验任务
  说明
  - 仅支持终止运行中的校验任务。
  - 任务终止后将无法恢复运行，需谨慎操作。终止后校验任务状态变更为校验完成。
  1. 选择目标校验任务操作列下的 ... > 终止。
  2. 在是否终止所选校验任务对话框，单击终止。
- 暂停数据校验任务
  说明
  - 仅支持暂停运行中的校验任务。
  - 增量任务暂停后可能无法恢复，需谨慎操作；其他类型的校验任务暂停超过 7 天后将无法恢复，需谨慎操作。
  1. 选择目标校验任务操作列下的 ... > 暂停。
  2. 在是否暂停所选校验任务对话框，单击暂停。
- 启动数据校验任务
  说明
  支持启动状态为已暂停和待启动的校验任务。
  1. 选择目标校验任务操作列下的 ... > 启动。
  2. 在是否启动所选校验任务对话框，单击启动。
- 删除数据校验任务
  说明
  删除后将不支持恢复，需谨慎操作。
  1. 选择目标校验任务操作列下的 ... > 删除。
  2. 在是否删除所选校验任务对话框，单击删除。
- 重试数据校验任务
  说明
  仅支持重试校验失败的校验任务。
  1. 选择目标校验任务操作列下的 ... > 重试。
  2. 在是否重试所选校验任务对话框，单击重试。

参考内容

MySQL 的结构校验结果的参数说明如下表所示：

说明

Error 级别字段的差异影响相对较大，如果存在，则表示表结构存在差异。
Notice 级别的字段差异影响较小，即使存在，也不会导致表结构存在差异。但在数据校验报告中，仍然可以查看到这些差异数据。

Diff 位置	校验项	说明	校验等级
Table	存在性检查	会检查表结构是否在源端和目的端存在，如果只在一端存在，就会输出 Error 级别的提示。	Error
	Engine	表使用的存储引擎名称。	Error
	Collation	表的默认排序规则名称。	Error
	RowFormat	数据存储的格式。	Notice
	Comment	表的评论信息。	Notice
Constraint	ReferencedSchema	外键所引用的数据库名称。	Error
	ReferencedTable	外键所引用的表格名称。	Error
	ReferencedName	外键所引用的列名。	Error
	UpdateRule	外键的 `ON UPDATE` 属性值。	Error
	DeleteRule	外键的 `ON DELETE` 属性值。	Error
	SeqInIndex	列在索引中的位置。	Error
	Collation	列在索引中的排序方式，一般取值为升序，降序或者空值。	Error
	SubPart	列参与索引的前缀长度。	Error
	Expression	函数索引的表达式，非函数索引为 NULL。	Error
	Name	外键或者索引的名称。	Notice
	ConstraintType	约束的类型，取值如下： `1`：唯一键。 `2`：非唯一键。 `3`：外键。	Notice
Column	IsNull	列是否可以为空。	Error
	GenerateExpress	生成列的表达式。	Error
	Precision	数值类型列的精度。	Error
	Scale	数值类型列的规模。	Error
	DatetimePrecision	时间类型列的精度。	Error
	CharacterMaxLen	字符串类型列的最大长度。	Error
	Tp.Name	列类型的名字。	Error
	Tp.IsUnsigned	是否为无符号整型。	Error
	Position	列在表定义中的位置。	Notice
	DefaultValue	列的默认值。	Notice
	Comment	列的评论信息。	Notice
	Extra	列的额外信息，一般取值有包括 `auto_increment`、`on update CURRENT_TIMESTAMP`、`STORED GENERATED`、`VIRTUAL GENERATED` 或 `DEFAULT_GENERATED`。	Notice
	CollationName	列的排序规则。	Notice
	CharSet	列的字符集。	Notice