You need to enable JavaScript to run this app.
导航
数据流动概述
最近更新时间:2025.04.17 10:33:29首次发布时间:2025.04.16 21:14:04
我的收藏
有用
有用
无用
无用

通过创建数据流动,实现 vePFS 文件系统和 TOS 存储桶之间的数据同步。

背景信息

为相同地域的 vePFS 文件系统和 TOS 存储桶之间配置数据流动后,vePFS 文件系统和 TOS 存储桶两者之间即可进行数据流动,vePFS 文件系统中的数据可导出至 TOS 存储桶(数据沉降),TOS 存储桶中的数据也可导入至 vePFS 文件系统(数据预热),从而保持两者之间数据同步。

规格说明

类别

规格

指标

备注

兼容性

支持的文件系统规格

  • 全部文件系统规格均支持

配置带宽

支持配置的带宽范围

  • [500MB/s,min(20GB/s,该实例当前最大写带宽)]

如一个 6TiB 的 100MB/s/TiB 实例最大支持配置 500MB/s 的数据流动带宽。

带宽配置步长

  • 500MB/s

预热性能

预热带宽上限

  • 配置带宽

大文件(如4MiB)情况下可以达到上限

单个预热任务QPS上限

  • min(配置带宽每GB/s ✖️ 2000, 20000)
  • 小文件(如4KiB)情况下可以达到上限
  • 文件列表方式预热 QPS 上限 20000
  • 路径配置方式预热 QPS 上限 12000

多个预热任务并发QPS上限

  • min(配置带宽每GB/s ✖️ 2000, 80000)

小文件(如4KiB)情况下可以达到上限

沉降性能

沉降带宽上限

  • 配置带宽

大文件(如4MiB)情况下可以达到上限

单个沉降任务QPS上限

  • min(配置带宽每GB/s ✖️ 2000, 20000)
  • 小文件(如4KiB)情况下可以达到上限
  • 文件列表方式沉降 QPS 上限 20000
  • 路径配置方式沉降 QPS 上限 6000

多个沉降任务并发QPS上限

  • min(配置带宽每GB/s ✖️ 2000, 80000)

小文件(如4KiB)情况下可以达到上限

对账性能

单个对账任务QPS上限

  • min(配置带宽每GB/s ✖️2000, 10000)

多个对账任务并发QPS上限

  • min(配置带宽每GB/s ✖️ 2000, 80000)

任务配置限制

同时运行中的手动任务上限

  • 10

支持创建多个任务排队启动运行

单个目录支持配置的流动任务

  • 1个

单个任务可操作的最大文件/对象数量

  • 100亿

任务对应文件系统路径深度限制

  • 无限制

任务对应文件系统路径总长度上限

  • 1024 个字符

任务对应文件系统中的目录名称长度上限

  • 255 个字符

任务对应文件系统中的文件名称长度上限

  • 213 个字符

任务指定文件列表中的文件数量

  • TOS 中的文件列表:10亿
  • 控制台上传文件列表:10万

任务对应目录是否支持软链接

  • 支持文件系统软链接导出

软链接可选忽略或导出为新文件

使用限制

限制项

限制说明

流动配置

  • 支持对 vePFS 文件系统中的 Fileset (子目录)或目录手动配置数据流动任务。
  • 当前仅支持为同地域的 vePFS 文件系统和 TOS 存储桶手动配置数据流动任务。
  • 任务中配置的 Fileset(子目录)或目录、桶前缀不能与其他任务(状态为创建中运行中取消中)中的配置存在嵌套。

文件系统

  • 目录、文件名中的特殊字符需要谨慎使用,支持大小写字母、数字、感叹号(!)、中划线(-)、下划线(_)、半角句号(.)、星号(*)和半角圆括号(())。
  • 符合以下任一条件的名称即被判定为非法名称,不执行实际的导入导出操作:
    • 名称中含有 ./
    • 名称含有 ../
    • 名称含有连续多个 /
    • 名称以单个 / 结尾。
    • 文件夹名称过 255 个字符
    • 文件名超过 213 个字符
    • 名称只有 .,例如 a/b/c/...
  • 不支持超长路径,路径长度范围为 1~1023 字符。

数据流动

  • 仅支持预热对象存储 TOS 中的标准或者低频文件
  • 仅支持将文件存储中的数据沉降为对象存储 TOS 中的标准文件
  • 不支持沉降目录至 TOS 存储桶。
  • 不支持沉降文件属性至 TOS 存储桶。
  • 在稀疏数据沉降时,0 值会在填充后再沉降至 TOS 存储桶。
  • 不支持 TOS 中的软链接预热到文件系统。
  • 不支持将文件系统中的 socket、FIFO、块设备沉降到TOS。

注意事项

  • 数据流动需要开启 vePFS 服务对 TOS 服务访问授权,删除授权后数据流动将无法工作。
  • 若调整数据流动带宽为 0,即关闭数据流动带宽,则所有正在运行中的数据流动策略和任务均会被停止,策略和任务不会被删除。在重新配置带宽并启用策略后,将重新执行数据流动任务,原数据会被覆盖。
  • 在创建任务时,请确认手动输入目录路径的准确性,若目录不存在则会直接创建该目录。
  • 数据流动依赖文件 xattr 功能以及 TOS 自定义元数据能力,请慎重清理文件 inode 相关 xattr 以及 TOS Header,否则会导致数据流动行为未定义。

数据流动任务类型

  • 按数据流动任务对数据的操作,可分为预热任务、沉降任务和对账任务。

    任务类型

    说明

    预热

    导入 TOS 存储桶中指定前缀下的数据至 vePFS 文件系统 Fileset(子目录)或目录。

    沉降

    导出 vePFS 文件系统指定 Fileset(子目录)或目录下的数据至 TOS 存储桶中指定前缀。

    对账

    对账任务只针对vePFS与对象存储侧设定目录内的文件进行对账,不执行任何文件的导入导出动作

  • 按数据流动任务的发起者,可分为手动任务和系统任务。

    任务类型

    说明

    手动任务

    通过控制台或 OpenAPI 创建的任务。

    系统任务
    (即将支持)

    通过数据流动策略生成的任务。在数据流动策略中配置 TOS 数据更新自动导入 或 vePFS 数据更新自动导出后,当 TOS 端或 vePFS 文件系统端数据发生更新时,vePFS 自动发起导入或导出任务。

计费说明

  • 在配置数据流动带宽后,会根据配置带宽进行收费,计费项的价格详情,请参见 vePFS 价格详情
  • 数据流入到对象存储后,TOS 侧会对写入的数据产生存储容量费用,具体计费说明,参见存储容量费用

使用流程

  1. 创建 vePFS 文件系统
  2. 创建 Fileset
  3. 配置数据流动带宽
  4. 创建手动任务
  5. 查看手动任务列表