什么是数据目录(Catalog)
LAS 数据湖构建(LAS)元数据管理采用三层实体结构,即Catalog/Database/Table,每个租户下面有1个默认Catalog(hive),您也可以创建其他Catalog,Catalog下面可以有多个数据库(Database),每个数据库下面可以创建多个数据表(Table)。
适用场景
主要适用于元数据隔离的场景,比如不同的集群、业务单元、组织团队等,绑定不同的Catalog,不同Catalog元数据互不可见。
基本操作
查询数据目录(Catalog)
- 登录LAS控制台。
- 选择Catalog。
- 在Catalog页面点击需要查询的数据名称,进入详情页查看详情。
编辑数据目录(Catalog)
说明
- 用户只能编辑有权限的数据目录,当前不支持修改数据目录名称。
- 数据存储路径仅支持TOS路径。
- Catalog 的存储路径更改之后,如果default db的存储路径为空或者非Tos路径,那么default db的存储路径会更新为:"Catalog路径/default.db"。
- 登录LAS控制台。
- 菜单选择:Catalog。
- 选中需要编辑的数据目录,点击右上角编辑。
- 在弹窗中修改存储路径或者备注信息。
创建数据目录(Catalog)
- 登录LAS控制台。
- 菜单选择:Catalog。
- 点击数据目录上方“+”,在创建数据目录弹窗中填写数据目录名称、存储位置和备注信息,填写完成后点击确定完成数据目录创建。
删除数据目录(Catalog)
- 登录LAS控制台。
- 菜单选择:Catalog。
- 选中待删除的数据目录,点击右上角删除,完成Catalog删除。
说明
- 用户只能删除有权限的数据目录。
- 删除Catalog遵循先删除子节点,再删除父节点的顺序。即先删除DB,再删除Catalog的顺序。同样,删除DB的时候,会遵循先删除DB下的Table,然后再删除DB。
- 删除Table/DB/Catalog会遵循先删除元数据再删除存储位置(location)对应文件目录。删除元数据和删除文件这两个动作,不能保证事务一致性,即会存在元数据删除成功,但是文件目录存在,换句话说,会存在Catalog/DB/Table找不到了,但是对应的文件目录还在。
- 删除数据目录,文件也会删除,但是当前文件删除没有回收站的功能,一旦删除就不能恢复。
- 删除Catalog会先删除DB,如果某个DB删除出错,已经删除的DB不会回滚。用户可以刷新页面,继续删除未删除的DB