veImageX 支持本地数据以及第三方云数据的多种数据源迁移,其中本地数据迁移、第三方云数据迁移也分别有多种迁移方式。
本地数据迁移方式:支持迁移工具、控制台迁移以及调用接口迁移。
第三方云数据迁移方式:支持控制台迁移以及调用接口迁移。
如果您的数据在本地 IDC 或者在本地磁盘中,同时通过本地服务器挂载云存储的资源迁移 veImageX 存储也可以使用本地迁移与上传工具进行数据迁移。
如果您的数据位于第三方云厂商或有可公网访问的 URL 本地数据,您可以在 veImageX 控制台的数据迁移进行数据迁移。
如果您仅需要上传可公网访问的单条 URL 数据,您可以通过调用 FetchImageUrl接口上传数据至指定服务。
同步处理:
若上传资源 URL 支持分片下载,最大超时时间为 20 s,最大资源不超过 5 G;
若上传资源 URL 不支持分片下载,最大超时时间为 20 s,最大资源不超过 1 G。
异步处理:
您可根据您的业务数据量规模、是否已获取本地数据公网访问 URL 等因素来考虑如何选择适合您的迁移方式。
迁移方式 | 方式说明 |
---|---|
本地迁移与上传工具 | Media-Migration 为 veImageX 文件批量迁移与上传工具,可以将一个文件夹中的文件递归式地上传到指定的 veImageX 服务中。您只需要通过简单的配置操作,便可将数据快速迁移至 veImageX 中。 |
veImageX 已提供数据迁移功能,可支持您的本地数据以及第三方云数据迁移至 veImageX。
说明 目前已支持的云服务厂商有:阿里云 OSS、腾讯云 COS、七牛云 KODO、百度云 BOS、华为云 OBS、优刻得 Ucloud File、AWS 国际站、其他 S3 协议存储。 | |
FetchImageUrl | 您可以通过调用接口,实现第三方 URL 数据的实时上传,同时您可根据实际情况选择使用同步或异步处理。 |
迁移操作步骤如下:
说明
使用迁移工具完成迁移的具体方法请参见本地迁移与上传工具。
迁移工具支持的具体参数详细场景化说明如下所示。
说明
迁移工具支持分布式并行传输,您可以考虑使用多台机器安装迁移工具并分别执行不同源数据的迁移任务,用于加快本地数据的迁移速度。
-data-file string 进度存储文件,file 或者 *.db (默认值为 "processfile") -up string 配置上传速率,支持单位:kbps、mbps,默认不限制 (默认值为 "0 kbps") -down string 配置下载速率,支持单位:kbps、mbps,默认不限制 (默认值为 "0 kbps") -driver string 进度存储驱动,支持取值:file(默认)、sqlite3 。上传过程中会记录日志文件,通过日志文件可以看到上传具体的状态以及上传后的访问地址。 -f string 迁移根目录,默认为 /tmp -h 帮助 -p string store key 前缀,默认为空 -parallel int 同时上传文件数量,默认值为 40。您可以根据运行服务器的带宽和性能,设置并发上传文件数量,提高迁移速度。 -region string veImageX存储区域: cn-north-1:(默认)上传的国内服务,ap-singapore-1:上传的新加坡服务
迁移操作步骤如下:
说明
请调用 FetchImageUrl接口完成数据上传。
说明
您需要提前获得待上传数据的公网可访问的 URL 后,才支持使用本接口完成数据的抓取、上传操作。