You need to enable JavaScript to run this app.
导航
视频点播
  • 文档首页
    • /视频点播/控制台指南/工具服务/数据迁移工具
数据迁移工具
最近更新时间：2024.07.29 18:10:43首次发布时间：2022.12.02 14:15:46
我的收藏

视频点播提供线上存储数据迁移工具，可以帮助您将其他云服务商的对象存储或视频点播服务中的媒资数据在线迁移至火山引擎视频点播服务中。本文为您介绍使用数据迁移工具的注意事项、迁移准备、操作步骤、后续操作、预估数据迁移时间等内容。

迁移准备

在开始迁移前，您准备需要迁移的 CSV 文件。您可以登录视频点播控制台，在数据迁移 > 创建迁移任务对话框中，下载 CSV 文件模板。CSV 文件最多只能上传一个，需符合以下表格样式。

参数

说明

SourceUrl

（必填）媒资 URL。

Title

（选填）标题。如果不填写，上传服务端将该字段置为空。

ClassificationId

（选填）分类 ID。如果不填写，上传服务端将该字段置为空。

FileName

（选填）文件路径。是否填写 FileName 以及选择不同的桶内路径设置，最终获取的文件路径不同。

  • 若填写 FileName：
    • 将 URL 中前缀用于桶内：FileName 无后缀，如/a/b/123，此时存储在点播桶内的路径以 FileName 为准，即 /a/b/123。
    • 忽略 URL 中前缀：FileName 无后缀，如/a/b/123，此时存储在点播桶内的路径需要在 FileName 的基础上去掉前缀，即 123。
  • 若不填写 FileName：
    • 将 URL 中前缀用于桶内：系统会自动截取 URL 的路径作为 FileName，例如 URL 为https://test.com/a/b/123，截取的 FileName 为 /a/b/123，最终存储在点播桶内的路径以截取的 FileName 为准，即/a/b/123。
    • 忽略 URL 中前缀：系统会自动截取 URL 的路径作为 FileName，例如 URL 为https://test.com/a/b/123，截取的 FileName 为 /a/b/123，最终存储在点播桶内的路径需要在截取的 FileName 的基础上去掉前缀，即 123。

自定义参数

（选填）可自定义的字段，字段名需要与上传 OpenAPI 的字段名一致，每新增一个字段添加一列。例如，您想设置标签的内容，设置的字段应该为 Tags。

操作步骤

创建迁移任务

  1. 登录视频点播控制台。

  2. 选择左侧导航栏工具服务 > 数据迁移。

  3. 单击左上角的新建迁移任务按钮。

    图片

  4. 根据页面提示完成参数配置，详细的参数说明如下表所示。

    类型

    参数

    说明

    基础信息

    迁移任务名称

    必填项，请输入迁移任务名称。不能超过 64 个字符。

    迁移源信息

    服务供应商

    必选项。目前仅支持 URL 选项。

    上传空间

    必选项。支持选择已创建的空间名称。CSV 文件将被存储到所选空间的素材中，该空间仅用作存储。

    说明

    如果您想要更换 CSV 文件上传的空间，请先删除文件再选择空间。

    URL 上传

    必填项。单击选择 CSV 文件按钮，进行文件上传。CSV 文件最多只能上传 1 个。

    说明

    目前仅支持 UTF-8、GBK、GB2312 编码的 CSV 文件，表头必须符合要求，支持下载模板文件。

    迁移速度限制

    可选项。限制迁移过程中的最大并发数。默认关闭。开启后，支持选择不同的迁移速度限制，取值范围为 [50,2000]，单位为 QPS。

    迁移目标

    点播地域

    必选项。目前仅支持华北1。

    目标空间

    必选项。您的媒资数据将被储存至此空间。

    桶内路径设置

    必选项。支持以下选项：

    • 将 URL 中路径用于桶内
    • 忽略 URL 中路径：系统会丢弃源 Object 的前缀，只保留文件名和后缀。

    保存路径

    必选项。支持以下选项：

    • 保存到根目录
    • 保存到指定目录：保存路径不能包含\t、\n、\v、\f、\r、空格、%、+、?、,、&、，、#等字符。

    同名文件

    必选项。同名是指 FileName 相同。支持以下选项：

    • 覆盖：源桶中的文件替换目标桶中的同名文件。
    • 跳过：保留目标桶中已有的同名文件，不上传新文件。

    自动转码

    必选项。支持以下选项：

    • 直接上传不转码：如果您所选的目标空间中，已经设置了默认工作流，在文件上传时，将触发默认工作流。
    • 上传且自动转码：选择已创建的工作流模板，如果没有所需的工作流模板，请在所选的目标空间下，创建工作流，详情请见工作流模板。

    选择工作流

    选择上传且自动转码选项后，选择已创建的工作流。

  5. 完成参数配置后，单击保存按钮，完成迁移任务的创建。

  6. 页面跳转到数据迁移列表页面，迁移状态为等待中，单击更多按钮，仅支持删除操作。

查看数据迁移任务列表

数据迁移完成后，支持查看已创建完成数据迁移任务的列表，包含：迁移任务名称、状态、文件源、开始时间和操作等内容。
图片

查看数据迁移详情

  1. 单击操作列详情按钮，进入迁移任务详情页面。
    图片
  2. 迁移任务详情页面，支持查看迁移进度、迁移源信息和迁移目标。
    • 迁移进度：支持导出成功文件数量、失败文件数量、导出跳过文件数量。
    • 迁移源信息：支持复制 CSV 文件 ID；支持在 CSV 文件上传的空间，在视频管理 > 素材管理页面，查询上传的文件。

更多操作

  • 迁移任务状态为进行中时，在操作列中单击暂停按钮，可暂停数据迁移任务。

    说明

    已完成迁移任务的无法暂停。

  • 迁移任务状态由等待中变为进行中，在操作列中支持单击暂停按钮，迁移状态变为暂停中，在操作列中支持单击重启按钮，继续进行迁移任务。
    图片
  • 单击更多按钮，展示删除、导出迁移成功列表、导出迁移失败列表、导出迁移跳过列表按钮。

    说明

    删除已完成的任务，所有迁移任务本身的数据都被清除，但不影响已经被迁移的媒资，可使用被删除的任务名称重新创建迁移任务。

预估数据迁移时间

迁移时间由迁移速度决定。迁移速度受到总任务数、以及单个迁任务的文件总数量、文件总大小、网络状况、迁移源的服务稳定性等多种因素影响，由迁移过程中涉及到的每一个环节的最低速度决定，同时受到网络传输速度和最大并发数影响。

迁移速度影响因素

假设迁移源的服务是稳定的，网络状态良好，下表中信息帮助您预估文件迁移速度。

影响因素

说明

迁出源的读取速度

数据源的读取速度因不同的服务商而不同，通常：传输速度在 1Gbps - 10Gbps 之间。文件读取并发在 50 - 500 之间（大量小文件的传输受并发限制）。

点播数据迁移任务能提供的传输速度

提供最大 10Gbps 的迁移带宽。

迁入目标位置的写入速度

点播提供的存储。

  • 写入速度最大是 10Gbps。
  • 写入并发最大是 500。

数据迁移时间计算举例

假设迁移任务已经启动，有如下数据：

总文件数

总字节量

迁移源最大下行带宽

点播下行速度

写入带宽

最大并发数

最小并发数

单批次提交时间

大约耗时范围

3000

10GB

500Mbps

1Gbps - 10Gbps

10Gbps

500

50

2s

2Mins - 5Mins

迁移费用说明

通过火山引擎视频点播数据迁移工具进行迁移操作，在数据迁移过程中产生的迁移费用如下说明。

  • 公式：迁移费用 = 调用源端 API 次数 x 调用源端 API 单价 + 对象总容量 x 源端流出流量单价
  • 示例：假设您从 A 云端厂商迁移 500GB 的数据文件。A 云端厂商调用 API 的次数为 30000 次，调用 API 单价为 0.01 元/万次；流出流量的单价为 0.5 元/GB。所以，此次迁移过程中的费用为 30000 次 x 0.01 元/万次 + 500GB x 0.5 元/GB = 250.03 元

注意

数据迁移中的费用是从其他源端产生的，视频点播提供的数据迁移工具服务是免费的。