1 数据集成
实现稳定、安全、高效的全域数据集成,提供三十余种丰富异构数据源之间高速稳定的数据同步能力,通过可视化的方式,快速完成数据同步任务的配置工作。
详见数据集成。
2 数据研发
一站式、全链路数据研发能力
- 基于代码规范下的流水线配置管理,设置扩展程序对代码调试、提交、发布等上线流程的审核,实现持续、高效的数据交付。
- 智能 IDE 协同开发,提供智能联想与动态语法检查,支持代码版本管理,带来流畅的开发体验,显著提升开发效率。
- 基于 EMR、Serverless Flink、ByteHouse、LAS 等多种存储计算引擎,提供丰富的数据开发任务类型,如离线任务,流式任务,通用任务、交互式分析查询等任务类型。
- 支持临时查询、数据库、资源库、函数库、任务模版、回收站、插件市场等产品能力。
详见数据开发。
3 调度系统
自定义复杂调度设置
- 每日百万级实例调度支撑,保障生产稳定、高效运行
- 调度基础设置,包括任务执行频率(分钟级、小时级、天级、周级月级)、执行时间、空跑设置、重试设置、并发控制、回溯建议等,满足日常业务需求
详见调度设置。
4 任务发布
标准发布流程、持续交付
发布中心解决开发过程中的可持续集成、可持续交付及可持续部署的问题,目标是提高数据研发效率,保障生产安全稳定,完善数仓研发全链路能力建设
详见任务发布。
5 运维监控
一站式运维管控能力
- 支持用户管理运维已上线任务。提供任务日常运维操作、任务运行情况监控和异常情况告警等功能。体系化解决“是否报警、何时报警、如何报警、给谁报警”的问题, 杜绝无效报警。
- 离线/实时任务运维提供任务实例状态管理,支持任务开启/关闭、设置监控报警、任务重跑、终止、置成功、状态诊断、查看日志等常规运维操作。
- 支持可视化展示调度任务的 DAG 图,方便对线上任务的依赖关系、实例数量等进行维护与运维管理。
- 复杂业务场景下的数据回溯能力,解决补数据、重刷历史数据等问题。
- 提供丰富的批、流任务监控规则和告警配置,归类业务运维管理,监控全链路任务运行。
- 通过基线监控,可对目标任务及其全部上游任务组成的数据链路,进行全方位的监控和告警。
详见数据运维。
6 数据服务
数据服务提供统一数据标准化服务能力,为开发者提供将表、指标转化成服务的能力,为数据中台提供统一的数据服务出口,实现数据应用价值最大化。
说明
数据服务提供了多种数据源去整体构建统一的 API 数据服务能力。为数据应用层,指标库,智能数据洞察提供服务,去助力整个数据消费层标准统一且高效使用。
- 丰富的数据源类型:
支持 MySQL、ByteHouse、EMR-Doris、EMR-StarRocks 等丰富的数据源类型。 - 完善的 API 管理能力:
提供 API 创建测试、多环境发布、下线、编排开发、版本管理、告警与监控分析等数据全生命周期管理能力。 - API 鉴权管控:
通过项目隔离、应用隔离、调用鉴权等方式,保证了数据使用的安全性。 - 指标与表查询统一维护:
支持不同数据源类型的表查询 API,和面向指标平台的指标查询式 API 进行统一管理。
详见数据服务。
7 项目管理
项目管控策略配置
说明
在项目管理侧,提供了项目级的复查配置、参数设置、队列管理、以及丰富的成员角色定义,来解决协同场景下的复杂权限控制和需求等,包括任务并行度设置等相关配置,来满足在业务侧的管理诉求。
- 项目粒度的运行管控,支持任务发布规则、回溯规则、任务并行度、默认监控规则的统一设置。
- 丰富的成员角色定义,解决协同场景下的复杂的权限控制需求。
- 灵活的复查策略配置,区分离线/流式场景,规范生产操作。
- 提供下载/查询控制的设置。
详见控制台。