You need to enable JavaScript to run this app.
导航
管理 LAS 表
最近更新时间:2024.07.16 19:52:12首次发布时间:2023.11.24 17:35:21

库表管理提供对元数据的创建、编辑、鉴权归属的统一管理。本文为您介绍如何管理 LAS 表。

1 前提条件

已创建 LAS 数据库。相关操作说明可参见管理 LAS 库

2 操作步骤

  1. 登录 DataLeap 控制台。
  2. 选择概览 > 数据地图 > 我的库表 > Table管理,进入 Table管理页面。
  3. 单击 LAS 页签,进入 LAS 管理页面。
    图片
  4. 可执行以下操作:
    • 新建 LAS 表
      支持可视化建表和 DDL 建表。

      • 单击新建LAS表按钮,直接进入可视化建表页面,填写表信息并单击建表检查按钮检查是否符合建表规范,待确认无误后,单击提交按钮完成 LAS 表创建。关于建表规范的相关操作说明请参见数仓建表规范
      • 单击新建LAS表 > DDL建表按钮,进入DDL建表页面,撰写DDL语句后单击解析按钮显示字段信息,填写表单其他信息并单击建表检查按钮检查是否符合建表规范,待确认无误后,单击提交按钮完成 LAS 表创建。
        新建 LAS 表相关参数说明如下表所示。其中名称前带 * 的参数为必填参数,名称前未带 * 的参数为可选参数。

      参数

      说明

      DDL信息

      *DDL语句

      撰写DDL语句并解析后,配置字段。
      建表时支持使用 STORED AS 参数来指定表的存储格式,示例如下:

      CREATE TABLE IF NOT EXISTS
       ``.`` (`` string COMMENT '') PARTITIONED BY (`` string COMMENT '')
      STORED AS parquet
      

      仅选择 DDL建表时,需设置该参数。

      注意

      目前主键类型仅支持基本的string、int、bigint、double四种类型,如果设置其他类型作为主键,会在数据插入时产生预期之外的问题。

      基础信息

      *LAS Schema库名

      LAS 数据库名称,下拉可选已创建的数据库。

      业务线

      数据表所属的业务线,下拉可选已创建的业务线。

      数据层级

      数据表所在的层级,支持以下选项,下拉可选。支持通过搜索层级名称关键词快速选择。

      • 基础数据层(ods)
      • 数据整合层(dwi)
      • 基础维度层(dim)
      • 明细数据层(dwd)
      • 中间数据层(dwm)
      • 数据服务层(dws)
      • 数仓应用层(dwa)
      • 数据集市层(dm)
      • 应用服务层(ads)
      • 应用层(app)

      数据分类

      “资产目录”中,指定业务线下的文件目录名称,用于资产门户构建。可编辑,下拉可选已创建的数据分类。
      选择业务线后,才可设置该参数。

      *LAS表名

      创建在所选数据库下的数据表名称,一旦设定不可更改。
      仅支持数字、小写英文字母、下划线。

      中文名

      数据表的中文名称。
      支持 AI 生成,设置库表名后,可单击该参数的 AI生成按钮,快速生成相应的中文名。

      说明

      尽可能完善库表名信息,以提高生成内容的丰富度和准确性。

      *表类型

      数据表的类型,支持内表和 Managed Hive 两种类型选项。

      说明

      仅可视化建表时,才支持 Managed Hive 类型。

      *存储格式

      数据的存储格式,支持 parquet、text 和 orc 三个选项,下拉可选。
      表类型选择 Managed Hive 时,需设置该参数。

      *分区类型

      数据表是否设置分区,支持分区表和非分区表两个选项。
      当选择分区表时,需设置分区字段

      描述信息

      对数据表的描述说明,以便后续管理。
      支持 AI 生成,设置库表名后,可单击该参数的 AI生成按钮,快速生成相应的描述信息。

      说明

      尽可能完善库表名信息,以提高生成内容的丰富度和准确性。

      字段信息(可视化建表)

      填写方式

      可选择按表单或Excel方式填写。

      主键

      即主关键字,是表中的一个或多个字段,它的值用于唯一的标识表中的某一条记录。
      若为复合主键,需选择多个字段。

      *英文名称

      字段的英文名称,仅支持小写英文字母、数字、下划线。

      *字段类型

      根据实际情况填写,支持多种类型,下拉可选。

      *字段描述

      字段的说明信息,以便后续管理,必填项。
      支持 AI 生成,设置字段的英文名称后,可通过以下方式生成信息:

      • 单击该参数的 AI生成按钮,快速生成各相应字段的描述信息,已填充的字段描述将被忽略。
      • 单击某个字段的字段描述右侧的 AI生成图标,可快速生成该字段的描述信息。若该字段当前已存在描述信息,则会直接被覆盖。

      安全标签

      数据安全平台推荐的标签,下拉可选已创建的安全标签,支持选择多个。
      管理安全标签的相关操作说明,请参见分类分级管理

      自定义标签

      为字段设定的标签,支持以下两种设置方式:

      • 下拉可选已有标签,支持通过搜索标签关键词快速选择。
      • 自行设置标签:手动输入标签后,在下拉列表中选择该标签。

      成本信息

      启用分层存储

      用于配置数据保留时间(TTL)及智能冷热数据分层存储。
      默认关闭,可选择是否开启,若不开启数据将永久保留。

      *数据分层依据

      智能冷热数据分层的依据,支持以下两种方式。

      • 按照分区创建时间
        • 超过热存期(创建时间 > y天)的数据将自动转换为冷数据。
        • 超过保留期(创建时间 > y天)的冷数据将自动删除。
      • 按照表访问时间
        • 超过热存期(访问时间 > y天)的数据将自动转换为冷数据。
        • 超过保留期(访问时间 > y天)的冷数据将自动删除。

      说明

      仅分区表支持按照分区创建时间的分层方式。

      *TTL-热存期

      数据热存时长,自行设定。数值为正整数,单位为天。
      超过热存期的数据将自动转换为冷数据。

      *TTL-保留期

      数据的保留时长,自行设定。数值为正整数,单位为天。
      超过保留期的数据将自动删除。

      说明

      • TTL-保留期TTL-热存期可仅填写其中一项。若两个参数均设置,则TTL-保留期的值必须高于TTL-热存期,才可建表成功。
      • TTL参数信息暂不支持实时同步,即若您在LAS平台更新了数据表的TTL参数信息,则需手动同步该表的元数据到数据地图。同步操作相关说明请参见元数据采集

      安全信息

      *保密级别

      表的安全等级,级别由低到高依次有L1、L2、L3 和 L4 四个选项可选。

      说明

      表的密级不能高于所在库的密级。

      *表权限负责人

      表的数据安全权限负责人,自动填充,可编辑,支持多个。

      开发信息

      数据研发项目

      已加入的项目,下拉可选。

      元数据标签

      专题

      数据表所属专题,下拉可选已创建的自定义目录固定目录专题。
      可快速添加至自己管理的专题中。

      生命状态

      表当前的生命状态,支持以下选项,下拉可选。

      • 测试:测试调试的表,不用于实际生产开发。
      • 临时:测试或开发临时保存一些数据时使用,会定期清理。
      • 在线:用户生产开发的有效表。
      • 废弃:已废弃不再用于生产或测试的表。
      • 待下线:即将下线的表,不再用于生产开发。

      说明

      目前生命状态的选项内容仅做标签使用,不会产生相应的作用。

      是否核心

      可选择是否将表设置为核心。

      自定义标签

      为表设定的标签,支持以下两种设置方式:

      • 下拉可选已有标签,支持通过搜索标签关键词快速选择。
      • 自行设置标签:手动输入标签后,在下拉列表中选择该标签。

      业务线-标签

      为表设定的业务线标签,下拉可选已创建的标签,可设置多个。

      说明

      选择业务线后,才可选择对应业务线下已创建的标签。

      业务术语

      表所关联的业务术语,下拉可选已创建的业务术语。
      支持通过搜索业务术语名称关键词快速选择。

      业务域

      表所属的业务域,下拉可选已创建的业务域。支持通过搜索业务域名称关键词快速选择。

      说明

      该元数据标签即将下线,推荐使用自定义标签或业务线标签进行替代。

      产品线

      表所属的产品线,下拉可选已创建的产品线。支持通过搜索产品线名称关键词快速选择。

      说明

      该元数据标签即将下线,推荐使用自定义标签或业务线标签进行替代。

      主题

      表所属的主题,下拉可选已创建的主题。支持通过搜索主题名称关键词快速选择。

      说明

      该元数据标签即将下线,推荐使用自定义标签或业务线标签进行替代。

    • 设置搜索信息,搜索符合条件的信息列表。
      当设置多个搜索条件时,会取各个条件的交集,进行查询。

      • 搜索库名、表名或负责人关键词。
      • 按照是否核心、是否隐藏等信息进行筛选。
      • 单击列表参数名称的升/降序图标按钮,可以按照对应参数的设置结果查看列表。
    • 单击列表中某数据表是否隐藏列的复合按钮,可以隐藏/显示该数据表。

      • 单击开启状态图标按钮,关闭隐藏后,在数据地图中将显示该数据表。
      • 单击关闭状态图标按钮,开启隐藏后,在数据地图中将无法查看该数据表详情。

        说明

        数据表隐藏后,若您不是该表的库管或表负责人,且没有该表的读写权限,则无法在数据检索页面查看其详情信息。

    • 单击列表中某条数据表信息操作列的管理按钮,可以修改该表的元数据标签信息。

    • 单击列表中某条数据表信息操作列的编辑按钮,可以修改表信息。

    • 单击列表中某条数据表信息操作列的 ... > 移交按钮,可以变更表的负责人,并同时移交权限负责人。

    • 单击列表中某条数据表信息操作列的 ... > 复制建表按钮,可以复制该表信息后打开建表页面,按需创建新的数据表。

    • 单击列表中某条数据表信息操作列的 ... > 分层存储设置按钮,可以编辑该表的分层存储配置信息。

    • 单击列表中某条数据表信息操作列的 ... > 权限设置按钮,可以前往权限管理 > 权限设置进行审批流程设置。

    • 单击列表中某条数据表信息操作列的 ... > 删除按钮,在弹出的确认删除对话框中,单击确定按钮,可以删除该表。

    • 勾选一条或多条数据表信息后,进行批量移交、批量删除、批量管理操作。