本文介绍如何使用 TOS Import 创建迁移本地文件、URL 文件和支持 S3 协议的对象存储文件的任务。
已部署迁移环境。具体操作,请参见部署迁移任务 。
单机部署和分布式部署的创建迁移任务的操作相同。您需要配置 task
目录下 YAML 文件来创建迁移任务,不同的数据源需要配置对应的 YAML 文件:
数据源 | 对应的 YAML 文件 |
---|---|
本地文件 | task-local.template.yaml |
URL 文件 | task-url.template.yaml |
支持 S3 协议的对象存储文件 | task-s3.template.yaml |
类别 | 说明 |
---|---|
通用 |
|
URL 列表文件 |
|
其他云存储文件 | 迁移其他云存储文件到 TOS 时,仅迁移已解冻的延迟访问存储类型文件,不迁移未解冻的延迟访问存储类型文件。
|
说明
迁移本地文件时,仅支持迁移硬链接类型文件,不支持迁移软链接类型文件。
进入到 /root/tos-import/task
目录,执行以下命令,编辑 task-local.template.yaml
文件,并配置参数,然后保存并退出。
说明
本文以 TOS Import 工具包解压到 /root
目录下为例。
vi task-local.template.yaml
task-local.template.yaml
文件内容如下:
说明
关于 task-local.template.yaml
文件参数的详细说明,请参见配置文件说明。
task_name: "tesk01" #迁移任务名称 src_type: "local" #迁移源端类型 src_prefix: "/root/uploads" #需要迁移的源端文件路径前缀,用于迁移指定前缀的文件 src_suffix: "" dest_type: "tos" #目的端类型 dest_ak: "your access key" #访问目的端对象存储的 AccessKey ID。 dest_sk: "your secret key" #访问目的端对象存储的 Secret AccessKey 。 dest_security_token: "" dest_region: "cn-beijing" #目的端 Region。 dest_endpoint: "http://tos-cn-beijing.volces.com" #目的端域名。 dest_http_proxy: "" dest_bucket: "test" #目的端存储桶的名称。 dest_prefix: "" rename_regex: "" rename_to: "" is_incremental: false incremental_interval: 3600 incremental_times: 3 import_since: "" over_write_policy: "force" task_bandwidth: 102400 task_file_mps: 1000 verify_data_crc64: true failed_num_to_abort: 0
进入到 /root/tos-import
目录。执行以下命令,创建迁移任务。
./tos-import create --conf task/task-local.template.yaml
预期返回以下内容:
Create migrate task 'task01' success , source type:local
进入到 /root/tos-import/task
目录,执行以下命令,编辑 task-url.template.yaml
文件,并配置参数,然后保存并退出。
说明
本文将 TOS Import 工具包解压到 /root
目录下为例。
vi task-url.template.yaml
task-url.template.yaml
文件内容如下:
说明
关于 task-url.template.yaml
文件参数的详细说明,请参见配置文件说明。
task_name: "task02" #迁移任务名称 src_type: "url" #迁移源端类型 src_http_proxy: "" url_list: "/root/url.list" #URL 列表文件路径 dest_type: "tos" #目的端类型 dest_ak: "your access key" #访问目的端对象存储的 AccessKey ID dest_sk: "your secret key" #访问目的端对象存储的 Secret AccessKey dest_security_token: "" dest_region: "cn-beijing" #目的端 Region dest_endpoint: "http://tos-cn-beijing.volces.com" #目的端域名 dest_http_proxy: "" dest_bucket: "test" #目的端存储桶的名称。 dest_prefix: "" task_fast_list: false rename_regex: "" rename_to: "" task_bandwidth: 102400 task_file_mps: 1000 verify_data_crc64: true failed_num_to_abort: 0
进入到 /root/tos-import
目录,执行以下命令,创建迁移任务。
./tos-import create --conf task/task-url.template.yaml
预期返回以下内容:
Create migrate task 'task02' success , source type:url
进入到 /root/tos-import/task
目录,执行以下命令,编辑 task-s3.template.yaml
文件,并配置参数,然后保存并退出。
说明
本文将 TOS Import 工具包解压到 /root
目录下为例。
vi task-s3.template.yaml
task-s3.template.yaml
文件内容如下:
说明
关于 task-s3.template.yaml
文件参数的详细说明,请参见配置文件说明。
task_name: "task03" #迁移任务名称 src_type: "s3" #迁移源端类型 src_ak: "your access key" #访问源端对象存储的 AccessKey ID src_sk: "your secret key" #访问源端对象存储的 Secret AccessKey src_security_token: "" src_region: "oss-cn-beijing" #源端对象存储的 Region src_endpoint: "http://oss-cn-beijing.aliyuncs.com" #源端对象存储的 S3 访问域名 src_http_proxy: "" src_bucket: "aaa" #源端存储桶的名称 src_prefix: "" src_suffix: "" src_object_list: "" src_object_prefix_list: "" task_fast_list: false dest_type: "tos" #目的端类型 dest_ak: "your access key" #访问目的端对象存储的 AccessKey ID dest_sk: "your secret key" #访问目的端对象存储的 Secret AccessKey dest_security_token: "" dest_region: "cn-beijing" #目的端存储桶的 Region dest_endpoint: "http://tos-cn-beijing.volces.com" #目的端对象存储的访问域名 dest_http_proxy: "" dest_bucket: "test" #目的端存储桶的名称 dest_prefix: "" rename_regex: "" rename_to: "" is_incremental: false incremental_interval: 3600 incremental_times: 3 import_since: "" over_write_policy: "force" task_bandwidth: 102400 task_file_mps: 1000 verify_data_crc64: true failed_num_to_abort: 0
进入到 /root/tos-import
目录,执行以下命令,创建迁移任务。
./tos-import create --conf task/task-s3.template.yaml
预期返回以下内容:
Create migrate task 'task03' success , source type:s3
您还可以执行暂停、删除迁移任务等操作,详细介绍,请参见常用命令。