管理加密任务--大数据研发治理套件-火山引擎

文档中心

立即注册

导航

管理加密任务

最近更新时间：2024.08.23 14:15:20首次发布时间：2024.07.16 19:52:13

通过数据加解密、数据脱敏等方式，可以实现对敏感数据的保护。其中，数据加密支持可视化静态加密，通过加密任务来实现数据加密，支持任务创建、运维管理等操作。

1 前提条件

在概览页面，已开通分布式数据自治服务。详细操作说明请参见 DataLeap 服务信息。

2 新建加密任务

登录DataLeap控制台。
选择概览 > 数据安全 > 数据保护 > 加密解密，直接进入数据加密页面。
单击新建加密任务按钮，进入新建加密任务页面。
根据页面提示，设置相关信息并依次单击下一步按钮，设置完成后，单击提交按钮完成加密任务创建。

新建加密任务相关参数说明如下表所示，其中名称前带 * 的参数为必填参数，名称前未带 * 的参数为可选参数。

参数	说明
基础信息
*任务名称	加密任务的名称，自行设定。任务名称不可仅由数字、符号组成，且首字符不能是符号。
*负责人	任务的负责人，自动填充为当前用户，不可编辑。该参数可在编辑任务时进行修改。
描述	任务的描述信息，长度不超过200个字符。
*数据源	支持的数据源，仅支持 EMR Hive。
*集群	已创建的 EMR Hive 集群名称，下拉可选。说明仅可选择安全模式且已创建对应采集器的集群，相关操作说明可参见绑定 Hadoop 集群和元数据采集。
*数据库	创建任务的数据表所在库，下拉可选所选集群下已创建的数据库。选择自己有权限的数据表所在库。
*数据表	创建任务的数据表，下拉可选自己有读写或只读权限的分区数据表。
加密策略
*字段名称	要加密字段的名称，下拉可选已有表字段，不可重复选择。选择字段名称后，该字段的类型、描述、保密级别、安全标签、是否敏感列等其他信息会自动填充显示。说明若字段类型为复杂字段（如array、map、struct），则该字段置灰不可选择加密。
*加密算法	采用的加密算法，支持 AES-GCM-SIV 和 SM4 选项，下拉可选。 SM4 算法支持以下高级配置：工作模式：支持选项 ECB、CBC、CFB、OFB和CTR，默认为 ECB。填充：支持选项 NoPadding、PKCS5Padding 和 PKCS7Padding，默认为 PKCS5Padding。初始向量：输入 base64 格式的字符串，长度必须为16个字节。说明当工作模式选择 ECB 时，仅需设置填充参数项。 ECB/CBC-NoPadding 的加密数据长度必须为 16byte 的整数倍。
*密钥	使用的密钥。当前仅支持使用系统默认的密钥，默认选中，不可更改。
目标数据表
*处理方式	采用的处理方式，支持写入新目标表方式，即选择一张目标表，在该表新增列并写入加密数据。
*目标表类型	目标数据表的类型，仅支持新建表并写入。
*数据库	新建表所属的数据库，下拉可选已创建的数据库。说明仅当您具备该数据库的建表权限时，才可创建表。若无建表权限，可进行权限申请，请参见申请权限。
*数据表	数据表的名称，自行设定。数据表名称仅可由数字、小写字母或下划线组成。说明数据表创建成功后，当前用户将默认成为该新建表的表owner和表权限负责人。
*保密级别	数据表的保密级别，支持L1、L2、L3、L4四个选项，下拉可选。说明库下新增表的密级不能高于该库的密级。若表密级设置过高，系统会提示更改。
新增列名	新列的列名，自动填充，可编辑。列名自动填充为“源列名_encrypted”，保密级别和安全标签默认采用对应字段的信息。说明仅当您具备源表的读写权限时，才可将新增列写入源表。
任务调度
*调度类型	任务调度类型，支持手动执行和周期执行两个选项。手动执行：由用户在任务列表的操作列单击执行按钮触发执行计划。周期执行：指任务可基于配置的调度参数定时自动执行。
*调度生效日期	调度的生效时间范围。超出调度生效时间，任务会自动关闭。开始时间默认填写为“当下日期和时刻”，结束时间默认填写为“一个月后的同一日期和时刻”。开始时间：只能选“当下日期和时刻”之后的时间。结束时间：距离开始时间不超过1年，不能在开始时间之前。当调度类型选择周期执行时，需设置该参数。
*执行频率	调度执行频率，支持每天、每周和每月三个选项。每天：执行日期需要设置每天的几点来执行。每周：执行日期需要设置每周几来执行，支持多选。每月：执行日期需要设置每月几号执行，支持多选。当调度类型选择周期执行时，需设置该参数。
*执行日期	调度执行的日期，采用“日期”或“时刻”的配置方式。当执行频率选择每天时，执行日期选项为具体的时刻。当执行频率选择每周时，执行日期选项为周一 ~ 周日，可多选。当执行频率选择每月时，执行日期选项为1~31，可多选。当调度类型选择周期执行时，需设置该参数。
*执行范围	任务调度的执行范围。当调度类型选择手动执行时，支持手动执行任务时选择分区，可选择全部分区或指定分区，具体请参见3 管理加密任务。当调度类型选择周期执行时，支持全部分区和新分区两个选项。全部分区：每次执行全部分区。可避免因数据回溯等原因存在原始数据，但耗费时间和计算资源较多。新分区：首次运行时将对当前全部分区范围加密，后续每次执行新产生的分区。耗费时间和计算资源较少，但可能因数据回溯等原因存在原始数据。说明当选择新分区时，需要按照表分区字段选择。如果表仅一个分区字段，则分区字段需为时间分区，格式为"yyyy-MM-dd"或"yyyyMMdd"，否则会执行失败。如果表有多个分区字段，则需选择至少1个分区字段且第一分区必须为时间分区，格式为"yyyy-MM-dd"或"yyyyMMdd"，否则会执行失败。
上游依赖	当前任务的上游依赖，内容包括任务名称、表名、分区信息，显示为列表形式。系统根据任务详情会推荐显示所有任务依赖，仅勾选的任务才会作为当前任务的实际上游依赖。当调度类型选择周期执行时，可设置该参数。说明当系统检测到源表有任务依赖时，会显示该参数并返回相关任务信息。若检测到无任务依赖，则建议选择手动执行。若选择了上游依赖任务，则建议将调度时间设置为所选任务之后。

3 管理加密任务

创建加密任务后，可以分别进行查询、执行、修改负责人等管理操作，步骤如下：

登录 DataLeap 控制台。
选择概览 > 数据安全 > 数据保护 > 加密解密，直接进入数据加密页面。
可执行以下操作：
- 设置搜索信息，查询符合条件的任务信息列表。
- 单击某条信息源数据表或目标数据表的详情图标，可以查看相应表的详情信息。
- 单击某条信息的任务ID或操作列的查看详情按钮，在任务详情页，可以查看该任务的详情信息，还可单击编辑按钮，进入编辑页面，可以修改该任务的负责人和调度设置信息。
- 单击某条信息操作列的执行按钮，在弹出的窗口中，选择一个或多个执行分区后，单击确认按钮，二次确认后，可手动执行该任务。
  说明
  仅当任务同时满足以下条件时，才能手动执行。
  - 调度类型为手动执行
  - 最近执行状态未处于正在执行
  - 任务状态为开启
- 单击某条信息操作列的修改负责人按钮，在弹出的窗口中，可以快速更改该任务的负责人。
- 单击某条信息操作列的 … > 执行日志按钮，在弹出的侧拉窗口中，可以查看该任务的执行日志列表。
- 单击某条信息操作列的 … > 开启按钮，二次确认后，可以开启该任务。
- 单击某条信息操作列的 … > 关闭按钮，二次确认后，可以关闭该任务。
- 单击某条信息操作列的 … > 删除按钮，二次确认后，可以删除该任务。
- 单击某条信息操作列的 … > 终止按钮，二次确认后，可以终止该任务本次执行。
说明
- 仅当任务状态为开启，且最近执行状态未处于正在执行时，才可执行关闭操作。
- 仅当任务状态为关闭时，才可执行开启、删除操作。
- 仅当任务的最近执行状态为正在执行时，才可执行终止操作。