大数据研发治理套件 DataLeap 在结合火山引擎 E-MapReduce(EMR)集群进行数据开发前,需进行相关集群引擎绑定工作。引擎绑定用于 DataLeap 与 EMR LDAP 账号进行对接,以实现由 DataLeap 进行相应的账号权限管理。通过 EMR Hadoop、StarRocks、Serverless StarRocks 集群绑定功能,DataLeap 可以接入对应的集群安全模式,从而实现对该模式下集群数据源中的库表权限管理。
1 使用前提
- 已创建相应的 EMR 集群。创建 EMR 集群的详细说明可参见创建 EMR on ECS 集群、创建 EMR Serverless OLAP 实例。
- IAM 子用户操作引擎绑定时,您需请主账号授予 DataLeapFullAccess 权限策略和 EMRReadOnlyAccess 或 EMRFullAccess 权限策略后方可进行引擎绑定操作。详见权限体系说明
- EMR Hadoop 类型集群需部署 Ranger 服务并开启 Hive Plugin 和 SparkSQL Plugin。详见绑定 Hadoop 集群。
- DataLeap 产品服务版本若仅开通湖仓一体版本,暂不支持绑定 EMR 引擎相关操作。详见DataLeap 公有云版本功能差异。
2 绑定入口
主账号或拥有 DataLeapFullAccess 、EMRReadOnlyAccess 或 EMRFullAccess 相关权限策略的 IAM 子用户,可进行引擎绑定相关操作。
登录 DataLeap 控制台。
在左侧导航栏中,按需选择对应的引擎绑定入口。
在绑定界面,单击右上角绑定集群/实例按钮,进行绑定操作。
具体绑定操作详见绑定 Hadoop 集群、绑定 EMR StarRocks 集群、绑定 EMR Serverless 实例。
3 访问模式说明
DataLeap 支持使用快捷模式及安全模式绑定 EMR 引擎,下文为您介绍快捷模式及安全模式的差异。
- 快捷模式:
使用快捷模式绑定 EMR 引擎时,在任务实际执行的时候,是使用 EMR 超级账号来实现对 EMR 资源鉴权和使用。
快捷模式常应用于对任务执行或 EMR 中的数据没有强管控要求时。 - 安全模式:
使用安全模式绑定 EMR 引擎时,通过 IAM 用户名和 EMR LDAP 账号配置的映射关系,来保障数据权限隔离。即在任务实际执行的时候,通过实际执行时不同的 IAM 账号所对应绑定的 EMR LDAP 账号,来实现对 EMR 资源的鉴权和使用。
安全模式常应用于对不同 IAM 账号,在任务执行或数据操作方面有不同级别的权限强管控要求时使用。且 IAM 账号实际使用数据时,需先通过数据安全模块进行数据库表权限申请后,方可进行数据查询、写入等操作。详见4 数据安全申请权限。
4 数据安全申请权限
DataLeap 使用安全模式绑定 EMR 引擎,IAM 用户后续操作使用 EMR 引擎下相关数据库表时,需额外申请对应的引擎下表的权限,您可通过数据安全模块,进行权限申请操作。
- IAM 子用户登录 DataLeap 控制台。
- 选择概览 > 数据安全 > 权限管理 > 我的权限,进入我的权限页面。
- 单击右上角申请权限按钮,进入权限申请操作。
- 在申请权限界面,继续完成相关获权方、申请资源、申请原因等信息的选择。
- 信息选择完成后,单击提交按钮,等待资源责任人审批完成即可。
更多权限操作详见 数据安全。
5 后续操作
EMR 引擎绑定完成后,您便可前往项目管理中,新建项目或编辑历史项目进行 EMR 引擎在具体 DataLeap 项目中的绑定操作。详见创建项目。