本文介绍如何在存储迁移服务控制台使用专线网络创建迁移任务。

背景信息

存储迁移服务支持以下源端云服务商或数据源类型：

• 阿里云
• 腾讯云
• 华为云
• 七牛云
• 金山云
• 谷歌云
• 其他 S3 协议对象存储
• 对象存储-火山引擎

  注意

  存储迁移服务只支持在相同地域的火山引擎存储桶之间迁移数据。

迁移文件时，默认支持迁移文件的 HTTP 标准属性，具体包括 Content-Type、Content-Disposition、Content-Encoding、Content-Language、Cache-Control 和 Expires。

前提条件

• 已注册火山引擎账号并完成实名认证，具体步骤，请参见账号注册及实名认证。
• 已获取数据源端相关信息，例如访问 AccessKey ID 及 AccessKey Secret 、Endpoint、桶名称等。
• 已在对象存储创建存储桶，具体步骤，请参见创建存储桶。
• 已搭建数据中心 IDC，作为数据迁移的中转站。

注意事项

• 当前仅华北2（北京）、华南1（广州）、华东2（上海）支持创建专线迁移任务。
• 使用专线网络迁移数据时，源端类型不支持 URL 列表。
• 如果源端云服务商为对象存储-火山引擎，则只支持在相同地域的火山引擎存储桶之间迁移数据。

操作步骤

1. 登录存储迁移服务控制台。

2. 在迁移任务列表页面，单击创建迁移任务。

3. 在选择网络页面，配置以下参数。
   

   参数	说明
   任务说明	设置该迁移任务的名称，命名规则如下： 长度限制在 3~32 个字符。 只能包含小写字母、数字、中划线（-）。 名称不能以中划线（-）开头或结尾。
   网络类型	支持选择公共网络和专线网络，说明如下： 公共网络：使用公网迁移数据。 专线网络：使用专线网络迁移数据。 本场景下选择专线网络。 说明 使用专线网络创建迁移任务前，您需要授予 DMS 创建 ENI 弹性网卡的权限。如果未授权，系统会提示您先进行授权。
   区域	设置私有网络所在地域。 注意 私有网络所在地域和目的端存储桶所在地域需要保持一致。
   私有网络	选择私有网络的名称。
   子网	选择私有网络下的子网。 说明 子网是私有网络内的 IP 地址块，用于将私有网络划分为一个或多个网络模块。关于子网的详细描述，请参见创建子网。
   安全组	选择私有网络下的安全组。 说明 安全组是一个重要的网络安全隔离手段，为同一个私有网络内具有相同安全保护需求并相互信任的网卡提供访问策略。关于安全组的详细介绍，请参见安全组概述。
   源端IPv4	数据中心的 IPv4 地址。
   端口	数据中心的 IPv4 地址的端口号。

4. 单击下一步：设置源端及目的端，配置如下源端及目的端参数。
   

   类别	参数		说明
   源端	源端类型		默认为对象存储。
   	数据源		选择具体的数据源： 阿里云：将阿里云上的数据迁移至火山引擎对象存储 TOS。 腾讯云：将腾讯云上的数据迁移至火山引擎对象存储 TOS。 华为云：将华为云上的数据迁移至火山引擎对象存储 TOS。 七牛云：将七牛云上的数据迁移至火山引擎对象存储 TOS。 金山云：将金山云上的数据迁移至火山引擎对象存储 TOS。 谷歌云：将谷歌云上的数据迁移至火山引擎对象存储 TOS。 其他 S3 协议存储：兼容 S3 协议，并支持 AWS Signature V4 鉴权的对象存储均可使用。 对象存储-火山引擎：将火山引擎对象存储的数据迁移至相同地域的火山引擎对象存储 TOS。 注意 数据源为对象存储-火山引擎时，目的端只可以选择与源端相同 Region 的存储桶，如果您需要跨区域迁移数据，请使用对象存储的跨区域复制功能，详细信息，请参见跨区域复制。
   	Access Key ID		用于访问源端对象存储的 AccessKey ID。
   	Access Key Secret		用于访问源端对象存储的 AccessKey Secret。
   	源端桶选择方式		设置选择源端桶的方式，说明如下： 获取可选源端桶并选择：经过您的授权，DMS 直接读取源端存储桶列表。您无需填写信息，单击刷新加载源端桶列表后，即可在源端桶名的列表中选择存储桶。 输入源端桶名称：手动输入源端桶名、源端 Region、Endpoint信息。 说明 使用获取可选源端桶并选择的方式选择源端桶时，DMS 默认使用公网访问域名访问源端桶，如果您想使用私网访问域名访问源端桶，您需要设置源端桶选择方式为输入源端端桶名称，然后手动输入私网 Endpoint。
   	源端桶名		指定要迁移的源端对象存储桶名称。 说明 您需要确保当前账号拥有源端存储桶的 HeadBucket、ListObjects 、HeadObject 和 GetObject 权限，否则会导致迁移结果不符合预期。
   	源端 Region		指定源端对象存储所在的 Region。
   	Endpoint		指定源端对象存储的访问域名，地址前需要输入 http:// 或 https://。 注意 Endpoint 不能携带存储桶名称，否则会导致源端连接失败。
   	指定迁移范围	包含 说明 包含和排除功能互斥。	开启指定迁移范围后，可以指定对象迁移的范围，支持通过指定对象或对象前缀来指定迁移范围。 前缀 支持以下三种方式指定对象前缀，说明如下： 指定前缀：输入对象的前缀，单击添加字段，可以设置多个前缀，最多支持设置 10 个对象前缀。例如迁移源端桶中 user/data 目录下的所有对象，则需要设置对象前缀为 user/data/，迁移源端桶中前缀为 event 的所有文件，则需要设置对象前缀为 event。 上传文件：如果您需要迁移的对象较多，您可以将对象前缀记录在文件中，然后将该列表文件上传至控制台，列表文件约束限制如下： 上传的列表文件必须为 txt 格式。 列表文件中每一行是一个对象前缀，多个对象前缀请换行输入。 上传的列表文件大小不能超过 1GB。 列表文件中的对象前缀需要符合 UTF-8 编码规则。 下载地址：将对象前缀记录在列表文件中，然后填写带签名的且签名处于有效期内的列表文件的公网访问地址。如果您的对象前缀列表文件较大，不适合使用浏览器上传，您可以将列表文件保存到对象存储，填写列表文件在对象存储的公网访问地址。 对象 支持以下三种方式指定对象，说明如下： 手动输入：输入完整路径的对象名称，不包含桶名，每一行只能包含一个对象名称，多个对象请换行输入，最多支持输入 1000 个对象。例如A桶下的 user/data/flower.png，则需要填写为 user/data/flower.png。 说明 如果您想重命名文件，可通过对象名称 + 空格 + 对象新名称的方式。例如您可以通过 a.jpg b.jpg，将 a.jpg文件重命名为 b.jpg。 上传文件：如果您需要迁移的对象较多，您可以将对象的名称记录在文件中，然后将该列表文件上传至控制台，列表文件约束限制如下： 上传的列表文件必须为 txt 格式。 列表文件中每一行是一个对象名称，多个对象请换行输入。 上传的列表文件大小不能超过 1GB。 列表文件中的对象名称需要符合 UTF-8 编码规则。 说明 如果您想重命名文件，可通过对象名称 + 空格 + 对象新名称的方式。例如您可以通过 a.jpg b.jpg，将 a.jpg文件重命名为 b.jpg。 下载地址：将对象的名称记录在列表文件中，然后填写带签名的且签名处于有效期内的列表文件的公网访问地址。如果您的对象列表文件较大，不适合使用浏览器上传，您可以将列表文件保存到对象存储，填写列表文件在对象存储的公网访问地址。
   		排除	开启指定迁移范围后，可以排除指定的对象，只迁移排除后剩余的对象。当前仅支持通过对象前缀来指定排除的对象，支持以下三种方式指定对象前缀，说明如下： 指定前缀：输入排除的对象的前缀，单击添加字段，可以设置多个前缀，最多支持设置 10 个对象前缀。例如排除源端桶中 user/data 目录下的所有对象，则需要设置对象前缀为 user/data/，排除源端桶中前缀为 event 的所有对象，则需要设置对象前缀为 event。 上传文件：如果您需要排除的对象较多，您可以将排除的对象前缀记录在文件中，然后将该列表文件上传至控制台，列表文件约束限制如下： 上传的列表文件必须为 txt 格式。 列表文件中每一行是一个对象前缀，多个对象前缀请换行输入。 上传的列表文件大小不能超过 1GB。 列表文件中前缀数目不能超过 5000 个。 列表文件中的对象前缀需要符合 UTF-8 编码规则。 下载地址：将排除的对象前缀记录在列表文件中，然后填写带签名的且签名处于有效期内的列表文件的公网访问地址。如果您的对象前缀列表文件较大，不适合使用浏览器上传，您可以将列表文件保存到对象存储，填写列表文件在对象存储的公网访问地址。
   目的端	目的端类型		目的端类型，暂时只支持对象存储（火山引擎 TOS）。
   	目的端写入模式		选择目的端写入模式，参数说明如下： 经典模式：使用 AccessKey ID、AccessKey Secret 等信息迁移数据。 跨服务授权模式：使用跨服务授权模式迁移当前账号下的对象存储存储桶，可以不填写 AccessKey ID、AccessKey Secret 等详细信息。经过您的授权，数据迁移服务可直接读取存储桶列表、读写文件。 注意 如果您使用了子账号创建迁移任务且选择了跨服务授权模式，您需要授予子账号创建 IAM 策略的权限，详细说明，请参见常见问题。
   	Access Key ID		用于访问目的端对象存储的 AccessKey ID。
   	Access Key Secret		用于访问目的端对象存储的 AccessKey Secret。
   	目的端桶名		指定目的端对象存储的桶名称。 注意 目的端桶所在地域需要与私有网络所在地域保持一致。 如果源端数据源为对象存储-火山引擎，则目的端桶必须与源端桶处于相同地域。 您需要确保当前账号拥有目的桶的 HeadBucket、HeadObject、PutObject、ListObjects、CreateMultipartUpload、AbortMultipartUpload、CompleteMultipartUpload 和 UploadPart 权限，否则会导致迁移结果不符合预期。

5. 单击下一步：设置任务参数，配置如下任务参数。

   注意

   单击下一步：设置任务参数，系统会自动校验源端连接信息，如果你设置的信息有误，会弹出权限预检提示对话框，提示您源端或目的端权限不足，继续创建任务有可能导致迁移结果不符合预期。

   

   参数	说明
   迁移增量文件	默认为关闭，开启后可自定义增量迁移参数，参数说明如下： 增量迁移间隔：在存量迁移（即首次迁移）完成之后，每隔多长时间启动一次增量迁移任务，单位为小时，仅支持 1~24 的整数。 增量迁移次数：在存量迁移（即首次迁移）完成之后，执行增量迁移的次数，仅支持 1~100 的整数。
   跳过归档对象	设置是否跳过归档对象，默认开启，说明如下： 开启跳过归档对象：迁移数据时，不迁移延迟访问存储类型的文件。 关闭跳过归档对象：迁移数据时，迁移已解冻的延迟访问存储类型文件，不迁移未解冻的延迟访问存储类型文件。 说明 各个数据源的延迟访问存储类型如下： 阿里云：归档存储（Archive）、冷归档存储（ColdArchive） 腾讯云：归档存储（ARCHIVE）、深度归档存储（DEEP_ARCHIVE） 华为云：归档存储（COLD）、深度归档存储（DEEP_ARCHIVE） 七牛云：归档存储、深度归档存储 金山云：归档存储类型 其他 S3 协议存储：GLACIER、DEEP ARCHIVE。 对象存储-火山引擎：归档存储（ARCHIVE）、冷归档存储（COLD_ARCHIVE） 谷歌云的 Cloud Storage 不存在延迟访问存储类型，如果您的数据源是谷歌云，无需设置跳过归档对象参数。
   跳过失败对象	迁移源端对象时，如果没有源端对象的权限，则该对象会迁移失败。您可以设置是否跳过失败对象，默认开启，说明如下： 开启跳过失败对象：迁移过程中无论迁移失败多少个对象，都不会暂停迁移任务。 关闭跳过失败对象：如果迁移过程中，出现连续迁移失败 20 个对象的情况，则会暂停任务并标记失败。
   文件重命名	默认为关闭，开启后可设置文件重命名规则，文件重命名支持正则替换，您可以输入需要重命名的正则表达式规则以及需要替换的字符串。例如： 添加前缀 prefix-path/：需要设置正则表达式为 ^，替换文本为 prefix-path/。 修改前缀 prefix-old/ 为 prefix-new/：需要设置正则表达式为 ^prefix-old/，替换文本为 prefix-new/。 删除前缀 prefix-old/：需要设置正则表达式为 ^prefix-old/，替换文本为空。 修改后缀 .txt 为 .csv：需要设置正则表达式为 .txt$，替换文本为 .csv。 修改文件名 abc.jpg 为 aaa.jpg：需要设置正则表达式为 abc，替换文本为 aaa。
   保留源端文件最后修改时间	设置是否开启保留源端文件最后修改时间，默认关闭。说明如下： 开启保留源端文件最后修改时间：文件迁移到 TOS 后，TOS 控制台展示的文件修改时间为源端文件最后修改时间。 关闭保留源端文件最后修改时间：文件迁移到 TOS 后，TOS 控制台展示的文件修改时间为文件上传时间。 注意 TOS 的生命周期管理功能根据文件上传时间计算文件过期删除、存储类型转换的时间。保留源端文件最后修改时间后，TOS 控制台展示的文件修改时间为源端文件最后修改时间，而不是文件上传时间。您将无法根据 TOS 控制台显示的文件修改时间判断文件的生命周期。详细介绍，请参见保留源端文件最后修改时间。
   带分隔符列举	由于部分源端存储桶的配置（例如开启桶加速的场景），TOS 只能获取到源端存储桶一级目录的文件。带分隔符列举可以获取到多级目录下的文件，说明如下： 开启带分隔符列举：TOS 可以获取到源端存储桶多级目录下的文件，保证了迁移到 TOS 的文件完整性。 关闭带分隔符列举：迁移文件的速度更快，但是在源端对象存储开启桶加速等场景下，有可能存在迁移到 TOS 的文件不全的问题。默认关闭。
   覆盖策略	可指定当源端和目的端出现同名文件时的覆盖策略，默认为不覆盖，策略说明如下： 全量覆盖：针对同名文件，不做任何判断，直接用源端覆盖目的端。 不覆盖：针对同名文件，不做任何判断，直接跳过。 根据最后修改时间覆盖：当源端和目标端出现同名文件时，根据文件的 lastmodify 字段（最后修改时间）判断是否进行覆盖，仅当源端文件的最后修改时间晚于目的端文件最后修改时间时执行覆盖。
   文件存储方式	设置文件迁移至 TOS 的存储类型，支持选择全部使用标准存储、保持原存储属性、全部使用低频存储、全部使用归档闪回存储、全部使用智能分层存储、全部使用归档存储、全部使用冷归档存储、全部使用深度冷归档存储。默认为全部使用标准存储。关于 TOS 存储类型的详细介绍，请参见存储类型。以下为保持原存储属性和全部使用智能分层的参数说明： 保持原存储属性：迁移至 TOS 时，按照 S3 与 TOS 对应关系设置文件的存储类型，更多信息，请参见 迁移数据时 S3 与 TOS 的对应关系。 全部使用智能分层：迁移至 TOS 时，文件将保存至智能分层高频访问层。 说明 深度冷归档目前在 TOS 处于邀测状态，如果您想将迁移至 TOS 的文件存储类型设置为深度冷归档，请联系客户经理开白。 如果迁移源属于延迟访问存储类型，请在迁移前将该类型的状态转换为即时访问，否则该迁移源会迁移失败。 如果目的端与源端文件的可用区属性不同，默认以目的端为准。
   迁移文件起始时间	设置需要迁移的文件的起始时间，默认为迁移全部，参数说明如下： 迁移全部：迁移源桶中所有的文件。 指定起始时间：设置起始日期后，将迁移该日期之后创建或修改的文件。
   流量控制	默认关闭，关闭时默认速率为 1000GB/s。 打开速率开关，单击添加字段，可设置迁移任务的流控时段和最大速率。设置速率时，可选单位 MB/s 和 GB/s ，速率限制说明如下： 最大速率默认为 100MB/s。 最大速率设置范围为 0MB/s~1000GB/s。
   抽样校验	默认关闭，开启抽样校验后，DMS 会从源端获取每个对象的 100 个字节，从目标端获取对应每个对象的 100 个字节，然后进行校验，确保源端和目标端的数据一致性。关于抽样校验的详细介绍，请参见数据一致性校验。 注意 使用抽样校验功能会在源端产生额外的公网流出流量，由源端对象存储收取对应费用。

6. 单击下一步：确认任务信息，在该页面检查迁移任务的各项参数。

7. 参数检查无误后，阅读并勾选存储产品和服务条款 ，单击提交。

8. （可选）如果您选择了跨服务授权，您还需要在弹出的跨服务授权对话框，单击确定。

   说明

   任务创建完成后会自动启动，您可以在迁移任务列表中查看该任务的创建时间、任务状态，此外，还可以在迁移任务列表页面右上角单击自定义列表字段图标，选中存储量迁移进度和文件数量迁移进度，查看迁移进度。