什么是分层命名空间--对象存储-火山引擎

文档中心

导航

对象存储

什么是分层命名空间

最近更新时间：2024.09.12 11:37:07首次发布时间：2024.07.08 16:10:14

分层命名空间 HNS（Hierarchical NameSpace，简称分层桶）是对象存储 TOS 推出的一个全新的基于分层元数据管理的桶类型。在提供分层命名空间能力的同时兼顾了对象扁平化扩展性，提供对象语义与文件语义透明互通的能力，实现真正的一份数据多种访问协议，提升数据使用效率。
相比原来扁平命名空间 FNS（Flat NameSpace，简称扁平桶）可以很好的支持目录级别的 mv 与 rename 操作，同时优化常见读操作 List 与目录 Head，提升数据处理效率与性能，能很好的满足大数据、数据湖和 AI 领域的使用场景。

注意事项

该功能目前处于邀测状态，且支持华北2（北京）和华东2（上海）地域，如您需要试用，请联系客户经理。
当您开通分层命名空间的使用权限后，您可以通过 TOS 控制台创建分层桶。具体操作步骤，请参见创建分层命名空间。
创建分层命名空间后无法立即使用，邀测期间，您需要等待数分钟～12小时后才可以正常使用，否则上传数据时会产生 405 等错误。如果您希望尽快使用该功能，您可以提交工单联系技术支持。

功能支持说明

当前支持通过 TOS 控制台、API 及 SDK 等方式使用分层桶，不同访问方式的功能支持说明，请参见以下文档：

功能架构

分层桶架构图如下。

目录结构示意图如下。

功能优势

分层命名空间有以下优势：

快速接入：使用对象存储分层命名空间桶，无需对现有的 Hadoop、Spark 大数据分析应用做任何修改。通过配置即像使用原生HDFS一样使用对象存储，获得对象存储海量存储空间、弹性扩展、安全性、可靠性和可用性的支撑。
协议互通：在分层命名空间桶中，数据通过对象语义（如 S3 接口）写入后可直接通过与 HDFS 兼容方式读取；反之，在 HDFS 中写入后也可通过对象语义读取。在提供分层命名空间能力的同时兼顾了对象扁平化扩展性，提供对象语义与文件语义透明互通的能力，实现真正的“一份数据多种访问”，提升数据使用效率。
性能优化：提供高性能、原子性的目录与文件操作。如，极大提升 Rename 目录性能，超大目录 rename 毫秒级完成；大文件重命名毫秒级完成。时延相比扁平命名空间降低 99%+。
生态兼容：支持与火山及开源多种生态打通，方便用户灵活地构建基于 TOS 作为存储底座的大数据/AI 解决方案。如可无缝对接火山大数据平台 EMR、湖仓一体分析服务 LAS、大数据文件存储 CFS、机器学习平台 AML 以及开源大数据Hadoop、Spark。也支持与业界先进的缓存方案提供商 Juicefs、Alluxio 集成。

使用场景

您可以在以下场景中使用分层命名空间：

云原生数据湖仓
离线/批量数据分析
实时数仓
数据迁移

引擎支持列表

引擎/平台	参考文档
Spark	Spark 使用 Proton
Flink	Flink 使用 Proton
Hive	Hive 使用 Proton
Impal	Impala 使用 Proton
Hadoop	Hadoop 使用 Proton

参考文档

控制台功能列表（分层桶）
使用须知
创建分层命名空间
API 列表（分层桶）
AWS S3 协议兼容性说明
说明
火山引擎对象存储 TOS（以下简称 TOS）提供了对 AWS S3 协议（以下简称 S3 协议）的兼容性支持，因此将数据从任何兼容 S3 协议存储迁移到 TOS 后，可以将之前访问该兼容 S3 协议存储的应用几乎无缝地切换到 TOS。