大数据研发治理套件(DataLeap)是火山引擎自研的一站式大数据中台解决方案,集实时&离线数据集成、数据开发、智能运维、数据治理、资产管理能力于一身。
DataLeap 致力于为企业解决多业务场景、多业务系统下的数据共享、数据治理、资产管理等难题,同时也将字节内部分布式数据治理方法和实践,围绕企业数据全生命周期管理最终融入到产品工具中,帮助企业加速数据中台及湖仓一体平台建设,提升数据研发效率,降低运维管理成本,挖掘数据价值,为企业决策及数字化转型提供数据支撑。
DataLeap 支持多种计算和存储引擎服务,包括火山引擎 E-MapReduce(EMR)、火山引擎云原生数据仓库 ByteHouse、湖仓一体分析服务(LakeHouse Analytics Service,LAS)、火山引擎流式计算 Flink 版等,助您减少适配成本,提升开发体验。
DataLeap 基于 EMR、Serverless Flink、ByteHouse、LAS 等存储计算引擎,提供数据资产地图、全域数据治理、全链路研发三大层级能力。
DataLeap 套件产品主要包含以下五个方向:管理控制台、数据研发、数据治理、数据资产、通用
所属方向 | 产品模块 | 产品描述 |
---|---|---|
管理控制台 | 提供了各种类型的资源组管理、引擎管理、项目级的复查设置、丰富的成员角色定义来解决协同场景下的复杂权限控制和需求,包括任务并行度设置等相关配置,来满足在业务侧的管理诉求。 | |
数据研发 | 稳定高效的异构数据源同步能力,支持 30+ 丰富的异构数据源之间高速稳定的数据同步。 | |
一体化集成批式、流式数据 Web-IDE 开发能力,提供一站式全链路研发体验。 | ||
解决开发过程中的可持续集成、可持续交付及可持续部署的问题。提高数据研发效率,保障生产安全稳定,完善数仓研发全链路能力建设。 | ||
对发布中心至生产环境的任务、基线监控、实例进行统一运维、监控及调度管理。 | ||
支持数据服务 API 一站式生产管理,监控运维,申请共享等,提高统一的数据服务管理和共享能力。 | ||
数据治理 | 通过数据探查、数据监控与数据对比,让用户自主完成数据质量的评估与保障工作。 | |
数据行列级别权限的控制、风险与自定义审批流审计功能、数据保护,全方位保障大数据资产安全。 | ||
支持治理负责人根据业务需求,自定义圈选治理范围和规则,发起存储、计算、质量治理方案,诊断待治理资产。 | ||
提供SLA在线化申报与签署,并通过多种治理保障措施,协同提高全链路数据质量。 | ||
对成本丰富的分析与优化建议,通过资源优化助力企业节省存储与计算成本。 | ||
一站式的数据治理产品解决方案,覆盖规划-执行-反馈全生命周期的治理流程。 | ||
数据资产 | 收集和展示全链路元数据,数据血缘分析,帮助数据消费者查找、理解、应用数据,提升数据价值。 | |
集成指标管理,指标计算,指标应用,解决指标定义、生产、出口的一致性问题。 | ||
通用 | 用于创建并管理值班人员,灵活安排值班人员排班,可用于运维排班、监控报警、会议提醒等多种场景。 |