大数据文件存储是火山引擎中为大数据和机器学习生态提供的文件存储和数据缓存加速服务,支持文件存储模式(HDFS)和数据湖模式(ACC)两种类型实例。本文将引导您如何创建一个文件存储实例。
功能限制
每个火山引擎账号在单个地域内最多可以创建 10 个文件存储实例。
前提条件
- 当前登录账号已开通大数据文件存储服务。如未开通,请参见开通大数据文件存储服务。
- 大数据文件存储依赖于 TOS 的超大容量,不仅支持存储海量数据,还降低了成本。在创建文件存储实例前,需要先创建 TOS,请参见创建存储桶。
- 如果需要开启缓存加速功能,提升文件存储速度,需要先创建 VPC、子网和安全组,请参见创建 VPC、创建子网、创建安全组。
创建 HDFS 模式实例
登录大数据文件存储控制台。
在顶部菜单栏选择目标地域。
在文件存储列表页面,单击创建文件存储。
在创建文件存储页面,配置文件存储实例的相关信息。
配置 | 说明 |
---|
计费类型 | 目前仅支持按量计费。
文件存储场景实例已于 2023 年 4 月 20 日 14:00 开始正式计费。详细计费说明,请参见计费说明。 |
文件存储名称 | 自定义设置文件存储实例的名称。 - 全局唯一且不能为空字符串。
- 支持字母、数字和短短横线(-),只能以字母开头。
- 长度为 2~63 个字符。
|
区域 | 目前大数据文件存储服务仅在华北2(北京)地域开放。 |
可用区 | 与安装了 Hadoop 客户端的 ECS 实例的可用区保持一致。 |
应用场景 | 此处选择文件存储场景,以创建一个支持 HDFS 语义、高效元数据操作、高带宽 IO 吞吐的文件存储实例。
如需了解数据湖场景实例如何创建和访问,请参见访问数据湖实例。 |
对象存储来源 | 选择存储数据的存储桶(Bucket)。 - 系统默认:系统默认提供相关联的对象存储的存储桶。
- 本账号的对象存储:选择使用当前账号其他对象存储的存储桶。
- TOS对象存储:选择目标存储桶。如果需要新建存储桶,请参见创建存储桶。
- 文件存储前缀:数据文件在 TOS 的存储路径。
支持将 TOS 的子路径挂载到文件存储实例。非必填项,可为空,为空时表示根路径;填写时不得以左斜线(/)开头,需要以左斜线(/)结尾,如 prefix/ 。
|
缓存加速 | 是否开启缓存加速。开启后,可以提高文件存储速度。
开启缓存加速功能后,需要设置加速基线、缓存容量,以及私有网络信息。 |
类型 | 选择加速基线,提供 200MB/s/TiB 和 400MB/s/TiB 两种类型的加速基线。
假设选择购买 200MB/s/TiB 的基线,表示每 TiB 容量可用带宽为 200MB/s。 |
容量 | 请按照业务缓存需求设置文件存储实例的缓存容量,起步 10 TiB,步长 5 TiB。
如果您需要的缓存容量空间超过 200 TiB,需要提交工单申请。
文件存储实例创建后,支持您扩容文件存储的缓存容量,请参见扩容缓存容量。 |
私有网络 | 从下拉列表中选择 VPC。
如果没有可用 VPC,可以单击创建私有网络,然后创建私有网络。详细操作,请参见创建 VPC。 |
子网 | 在下拉列表中选择子网。
如果没有可用的子网,可以单击创建子网,然后创建子网。详细操作,请参见创建子网。
如果选中勾选后支持该私有网络下所有子网访问,则表示在关联 VPC 内所有子网都可以访问您创建的实例。 |
安全组 | 从下拉列表中选择安全组。
如果没有可用的安全组,可以单击创建安全组,然后创建安全组。详细操作,请参见创建安全组。 |
文件存储实例的配置完成后,单击页面右下角的确认订单。
在订单详情页确认订单信息,确认无误后,阅读并勾选大数据文件存储相关协议。然后单击立即购买。
创建成功后,单击返回文件存储列表,查看文件存储基本信息。
刚创建的文件存储实例显示为 创建中 ,创建完成后显示为 运行中 。可以查看文件存储状态,缓存加速配置、应用场景、创建时间等信息。
创建 ACC 模式实例
登录大数据文件存储控制台。
在顶部菜单栏选择目标地域。
在左侧导航栏选择文件存储列表,然后单击创建文件存储。
在创建文件存储页面,配置数据湖场景实例的相关信息。
配置 | 说明 |
---|
计费类型 | 目前仅支持按量计费类型。
目前数据湖场景实例处于公测期间。如需了解产品计费的详细信息,请参见产品计费。 |
文件存储名称 | 自定义文件存储实例的名称。 - 全局唯一且不能为空字符串。
- 支持英文字母、数字和短横线(-)组合,只能以字母开头。
- 长度为 2~36 个字符。
|
区域 | 目前大数据文件存储服务仅在华北2(北京)地域开放。 |
可用区 | 选择文件存储实例所处的可用区。 |
应用场景 | 此处选择数据湖场景,以创建一个支持原生 TOS 和部分 HDFS 语义的,用于数据湖分析场景和机器学习场景的文件存储实例。
如需了解文件存储场景实例如何创建和访问,请参见访问文件存储实例。 |
对象存储来源 | 支持选择当前账号下的存储桶,也支持选择其他账号下的存储桶,请根据实际情况选择。 |
本账号的对象存储 - TOS 对象存储:从下拉列表中选择存储桶。如果没有可用的存储桶,可以单击创建桶,然后创建存储桶。详细操作,请参见创建存储桶。
- 文件存储前缀:支持将 TOS 的子路径挂载到文件存储实例。非必填项,可为空,为空时表示挂载全部路径;填写时不得以左斜线(/)开头,需要以左斜线(/)结尾,如
prefix/ 。
示例: TOS 路径为 tos://tos-doctest/prefix ,配置的文件存储前缀可以为 prefix/ 。此时访问 CFS 实例的根目录就等同于访问 TOS 的 prefix/ ;访问 CFS 实例的 /test ,就等于 TOS 的 prefix/test 。
|
其他账号的对象存储 - TOS 所属账号 ID:设置其他账号的账号 ID。
- TOS 对象存储:需要手动输入其他账号下的的 TOS Bucket 名称。
- 文件夹路径:支持将 TOS 的子路径挂载到文件存储实例。非必填项,可为空,为空时表示挂载全部路径;填写时不得以左斜线(/)开头,需要以左斜线(/)结尾,如
prefix/ 。
示例: TOS 路径为 tos://tos-doctest/prefix ,配置的文件存储前缀可以为 prefix/ 。此时访问 CFS 实例的根目录就等同于访问 TOS 的 prefix/ ;访问 CFS 实例的 /test ,就等于 TOS 的 prefix/test 。 - 访问秘钥:从其他账号下选择 TOS 时,需要填写与该账号匹配的 Access Key ID 和 Secret Access Key。只有设置与账号 ID 匹配的访问秘钥后,才可以通过鉴权认证,添加 TOS。
如何获取账号的访问秘钥,请参见 密钥管理 。
|
缓存加速 | 数据湖场景实例默认开启缓存加速,且不能关闭。 |
类型 | 选择加速基线,提供 200MB/s/TiB 和 400MB/s/TiB 两种类型的加速基线。 |
容量 | 请按照业务缓存需求设置文件存储实例的缓存容量,起步 10 TiB,步长 5 TiB。 说明 数据湖场景实例处于公测期间,缓存加速容量看见不能大于 50 TiB。如果需要更大的缓存容量空间,请提交工单申请。 |
私有网络 | 从下拉列表中选择 VPC。
如果没有可用 VPC,可以单击创建私有网络,然后创建私有网络。详细操作,请参见创建 VPC。 |
子网 | 在下拉列表中选择子网。
如果没有可用的子网,可以单击创建子网,然后创建子网。详细操作,请参见创建子网。
如果选中勾选后支持该私有网络下所有子网访问,则表示在关联 VPC 内所有子网都可以访问您创建的实例。 |
安全组 | 从下拉列表中选择安全组。
如果没有可用的安全组,可以单击创建安全组,然后创建安全组。详细操作,请参见创建安全组。 |
文件存储实例配置填写完成后,单击页面右下角的确认订单。
在订单详情页确认订单信息,确认无误后,阅读并勾选大数据文件存储相关协议。然后单击立即购买。
创建成功后,单击返回文件存储列表,查看文件存储基本信息。
刚创建的文件存储实例显示为 创建中 ,创建完成后显示为 运行中 。可以查看文件存储状态,缓存加速配置、应用场景、创建时间等信息。