流式计算 Flink 版接入了火山引擎大数据研发治理套件(DataLeap),您不仅可以在 Flink 控制台开发任务,也可以在 DataLeap 侧开发任务。本文为您介绍 DataLeap 侧开发任务的基础流程。
背景信息
大数据研发治理套件(DataLeap)是火山引擎自研的一站式大数据中台解决方案,致力于解决企业多业务场景、多业务系统下的数据共享、数据治理、资产管理等难题,帮助企业提升数据研发效率,降低运维管理成本,挖掘数据价值,为企业决策提供数据支撑。
DataLeap支持多种计算和存储引擎服务,包括流式计算 Flink 版、批式计算 Spark 版、湖仓一体分析服务LAS、开源大数据引擎E-MapReduce等。
如需了解 DataLeap 更多信息,请参见产品定义。
DataLeap侧开发流程
- Flink 侧创建资源
无论是在 Flink 侧开发任务,还是在 DataLeap 侧开发任务,项目和资源池都是不可或缺的基础资源,您需要创建项目和资源池并确保状态可用。如何创建资源,请参见创建项目和创建通用-VCI 资源池。
业务如果有权限精细化控制需求,您可以在项目内为目标成员赋予定制化权限,保证权限最小化和精准控制。项目权限管控,请参见权限概述。 - Dataleap 侧关联资源
DataLeap 侧可以创建项目,在项目中选择需要关联的 Flink 项目和资源池。如何创建 DataLeap 项目,请参见创建项目。
关联 Flink 资源时,只能关联一个项目,但可以关联该项目中所有资源池。关联资源后,即可创建任务并开发任务。 - Dataleap 侧开发任务
支持开发 SQL、JAR 和 Pyjstorm 三种类型的任务,详细信息,请参见: