数据闪送端到端校验--数据闪送服务-火山引擎

文档中心

立即注册

导航

数据闪送端到端校验

最近更新时间：2023.09.04 14:27:37首次发布时间：2023.09.04 14:27:37

数据闪送提供了端到端数据一致性及完整性校验方式。您可以在设备中放置一个 CRC 文件，数据闪送会在完成数据迁移后校验 CRC 文件里的对象和已迁移的对象，如果不一致，将与您确认迁移数据的正确性，从而保证数据完整性和一致性。

背景信息

迁移数据时，数据闪送默认会校验设备上的数据和已迁移的数据，保证设备上的数据和已迁移数据的一致性。相比默认校验方式，CRC 文件校验方式可以校验原始文件和最终文件，保证了端到端数据的一致性。

注意事项

仅会校验 CRC 文件里已有的对象。如果对象没有在 CRC 文件中，将不会校验该对象。
仅支持将 CRC 文件放置在设备中，且设备邮寄到火山机房后，不支持更改设备中的 CRC 文件。
如果一个订单包含了多个硬盘，您需要在每个硬盘中放置对应 CRC 文件，才能校验每个硬盘数据。

校验流程

您需要在 CRC 文件中填写源数据的对象名称和对象的 CRC 64 校验码，填写完成后，将文件放置在设备的根目录。火山机房收到设备并完成数据迁移后，将校验 CRC 文件里的对象和已迁移的对象，如果不一致，将与您确认迁移数据的正确性，最终实现原始文件和最终迁移文件的一致性和完整性。
CRC 文件的具体格式说明如下：

类别	格式说明
文件目录	单个 CRC 文件必须放置在设备的根目录下。如果有多个 CRC 文件，您可以在根目录下创建 `DES-VOLCES.CRC` 文件夹，然后将文件放置在该文件夹下。
文件名称	单个文件：文件名称必须为 `DES-VOLCES.CRC`，且所有字母必须大写。多个文件：文件目录必须为`DES-VOLCES.CRC`，且所有字母必须大写，文件名称则没有固定要求。
文件内容	必须按照 `<对象名称>,<对象的 CRC64 校验码>`的格式填写内容。注意对象名称和对象的 CRC64 校验码之间要用英文逗号（,）隔开。一行只能填写一个对象，多个对象必须换行。

校验结果

校验结果	处理方式
端到端校验一致	数据闪送的订单状态会显示数据拷贝完成，结束订单。
端到端校验不一致	数据闪送的订单状态会显示数据拷贝中，并且技术服务人员会告知您数据校验不一致的问题。此时您需要检查您提供的 CRC 文件，确认您的 CRC 校验码是否计算错误，文件是否有损坏，或源数据迁移到设备（硬盘或 DataArk V300）过程中是否漏写了文件。不同情况的处理说明如下：如果您的 CRC 校验码计算错误且文件没有损坏，可以忽略数据校验不一致的问题。将该情况告知技术服务人员后，数据闪送的订单状态会变更为数据拷贝完成，结束订单。如果文件发生损坏，或源数据迁移到设备（硬盘或 DataArk V300）过程中漏写了文件，告知技术服务人员后，数据闪送的订单状态会变更为数据拷贝完成，结束订单。针对遗漏的文件，为了节省成本，建议您使用公网上传的方式将文件上传到 TOS。具体操作，请参见上传文件。如果您想使用数据闪送上传遗漏的文件，您需要重新创建数据闪送订单，按照数据闪送流程将正常的文件或漏写的文件上传到对象存储存储桶。

校验结果

处理方式

端到端校验一致

数据闪送的订单状态会显示数据拷贝完成，结束订单。

端到端校验不一致

数据闪送的订单状态会显示数据拷贝中，并且技术服务人员会告知您数据校验不一致的问题。此时您需要检查您提供的 CRC 文件，确认您的 CRC 校验码是否计算错误，文件是否有损坏，或源数据迁移到设备（硬盘或 DataArk V300）过程中是否漏写了文件。不同情况的处理说明如下：

如果您的 CRC 校验码计算错误且文件没有损坏，可以忽略数据校验不一致的问题。将该情况告知技术服务人员后，数据闪送的订单状态会变更为数据拷贝完成，结束订单。
如果文件发生损坏，或源数据迁移到设备（硬盘或 DataArk V300）过程中漏写了文件，告知技术服务人员后，数据闪送的订单状态会变更为数据拷贝完成，结束订单。针对遗漏的文件，为了节省成本，建议您使用公网上传的方式将文件上传到 TOS。具体操作，请参见上传文件。如果您想使用数据闪送上传遗漏的文件，您需要重新创建数据闪送订单，按照数据闪送流程将正常的文件或漏写的文件上传到对象存储存储桶。