通过创建数据流动,实现 vePFS 文件系统和 TOS 存储桶之间的数据同步。
为相同地域的 vePFS 文件系统和 TOS 存储桶之间配置数据流动后,vePFS 文件系统和 TOS 存储桶两者之间即可进行数据流动,vePFS 文件系统中的数据可导出至 TOS 存储桶(数据沉降),TOS 存储桶中的数据也可导入至 vePFS 文件系统(数据预热),从而保持两者之间数据同步。
类别 | 规格 | 指标 | 备注 |
---|---|---|---|
兼容性 | 支持的文件系统规格 |
| |
配置带宽 | 支持配置的带宽范围 |
| 如一个 6TiB 的 100MB/s/TiB 实例最大支持配置 500MB/s 的数据流动带宽。 |
带宽配置步长 |
| ||
预热性能 | 预热带宽上限 |
| 大文件(如4MiB)情况下可以达到上限 |
单个预热任务QPS上限 |
|
| |
多个预热任务并发QPS上限 |
| 小文件(如4KiB)情况下可以达到上限 | |
沉降性能 | 沉降带宽上限 |
| 大文件(如4MiB)情况下可以达到上限 |
单个沉降任务QPS上限 |
|
| |
多个沉降任务并发QPS上限 |
| 小文件(如4KiB)情况下可以达到上限 | |
对账性能 | 单个对账任务QPS上限 |
| |
多个对账任务并发QPS上限 |
| ||
任务配置限制 | 同时运行中的手动任务上限 |
| 支持创建多个任务排队启动运行 |
单个目录支持配置的流动任务 |
| ||
单个任务可操作的最大文件/对象数量 |
| ||
任务对应文件系统路径深度限制 |
| ||
任务对应文件系统路径总长度上限 |
| ||
任务对应文件系统中的目录名称长度上限 |
| ||
任务对应文件系统中的文件名称长度上限 |
| ||
任务指定文件列表中的文件数量 |
| ||
任务对应目录是否支持软链接 |
| 软链接可选忽略或导出为新文件 |
限制项 | 限制说明 |
---|---|
流动配置 |
|
文件系统 |
|
数据流动 |
|
按数据流动任务对数据的操作,可分为预热任务、沉降任务和对账任务。
任务类型 | 说明 |
---|---|
预热 | 导入 TOS 存储桶中指定前缀下的数据至 vePFS 文件系统 Fileset(子目录)或目录。 |
沉降 | 导出 vePFS 文件系统指定 Fileset(子目录)或目录下的数据至 TOS 存储桶中指定前缀。 |
对账 | 对账任务只针对vePFS与对象存储侧设定目录内的文件进行对账,不执行任何文件的导入导出动作 |
按数据流动任务的发起者,可分为手动任务和系统任务。
任务类型 | 说明 |
---|---|
手动任务 | 通过控制台或 OpenAPI 创建的任务。 |
系统任务 | 通过数据流动策略生成的任务。在数据流动策略中配置 TOS 数据更新自动导入 或 vePFS 数据更新自动导出后,当 TOS 端或 vePFS 文件系统端数据发生更新时,vePFS 自动发起导入或导出任务。 |