本文为您介绍 2022 年及之前大数据研发治理套件 DataLeap 产品功能版本更新和相关文档动态。
2022/11/29
序号 | 功能 | 功能描述 | 使用文档 |
|---|
1 | - 新增 veDB MySQL 数据源
- 新增 CloudFS 读取能力
| - 新增 veDB MySQL 数据源，支持 veDB MySQL_to_las 通道作业。
- 新增 CloudFS 离线读取能力，支持 CFS_to_las 通道作业。
| |
2 | 数据地图 | - LAS 表增加编辑功能。
- 新建专题的创建、编辑、详情页默认展示一个“数据目录”页签，支持添加多种数据类型的库表；旧有专题仍维持之前的“EMR Hive目录”，“LAS目录”形式不变。
- 专题支持关联术语。
- 页面内容调整：数据发现更名为元数据采集、数据检索页面内容调整等。
| |
2022/11/10
序号 | 功能 | 功能描述 | 使用文档 |
|---|
1 | LAS Spark 作业支持 Python | LAS Spark 作业支持 Python 资源类型 | LAS Spark |
2 | 新增 Redis 数据源 | 数据集成任务新增 Redis 数据源，支持从 LAS 离线写入 Redis。 | 配置 Redis 数据源 |
3 | 运维监控报警支持更多形式 | 运维离线、流式任务监控，新增飞书群作为接收人；报警发送方式新增飞书、电话告警。 | |
2022/10/31
序号 | 功能 | 功能描述 | 使用文档 |
|---|
1 | 控制台支持更换EMR集群 | DataLeap 项目控制台支持更换已绑定的 EMR 集群。 | 更换引擎 |
2 | 独享资源组支持可用区B | 独享计算资源组、独享集成资源组支持创建可用区 B 的资源组，同时 VPC 子网新增支持 10 网段。 | 资源组管理 |
3 | 资源类型优化 | - LAS、EMR 引擎新增支持 Zip、File 资源类型。
- 新建资源、上传资源新增重名校验逻辑。
| 资源库 |
4 | Webhook 接口验证 | 新增 Webhook 接口验证方式 | Webhook 接口验证 |
5 | 术语管理 | 新增功能。
通过术语管理功能，可以创建并管理业务术语，创建的业务术语还可以关联到数据表。 | 术语管理 |
6 | LAS 采集器优化 | 通过手动操作，完成集群元数据的首次全量获取。之后，采集器会自动实时更新元数据。 | 管理 LAS 采集器 |
7 | 增加动态/全量探查、队列优化 | 数据检索支持动态探查/全量探查，优化队列选择功能 | 检索数据 |
8 | 数据安全---审批流继承 | 新增审批流继承功能。
当某资源存在下级资源时，则可以开启审批流继承功能，对下级资源审批流进行统一管理。 | 设置审批流 |
9 | 指标平台 | 新增指标平台产品模块，主要包括规范定义、建模研发、管理中心等几部分。 | 指标平台 |
10 | 数据服务 | 数据服务结束公测体验，开始售卖正式版本服务。 | |
2022/9/30
序号 | 功能 | 功能描述 | 使用文档 |
|---|
1 | 删除项目 | 项目控制台支持项目删除操作。 | |
2 | 数据地图接入ByteHouse | 数据地图接入 ByteHouse 数据表信息，提供查找 ByteHouse 元数据的能力。 | |
3 | Shell任务支持配置镜像 | Shell 任务模板、通用任务类型 Shell，支持配置镜像地址 | |
4 | 数据集成新增 Doris、ByteHouse CDW、BMQ、CloudFS数据源 | - 新增离线集成通道功能：MySQL2Doris、LAS2Doris、las2bytehouse（CDW版）, 火山mysql2bytehouse（CDW版）
- 新增流式集成通道功能：bmq2lasfs、bmq2cfs、bmq2las
| |
2022/8/31
序号 | 功能 | 功能描述 | 使用文档 |
|---|
1 | 报表任务 | 数据开发新增LAS、EMR邮件报表任务类型，支持通过邮件直接发送报表数据. | |
2 | Serverless Flink流式任务监控 | 数据开发优化Serverless Flink开发体验，新增数据源相关监控告警。 | 实时任务报警监控 |
3 | EMR-Doris、Bytehouse CDW数据源 | 数据服务新增基于EMR-Doris、Bytehouse CDW数据源的API开发能力。 | 数据源配置 |
4 | 独享计算资源组 | 新增独享任务计算资源组，适用于Notebook、Shell等任务开发场景。 | 资源组管理 |
2022/7/28
序号 | 功能 | 功能描述 | 使用文档 |
|---|
1 | 新增引擎 Serverless Flink | DataLeap 新增支持 Serverless Flink 计算引擎： - Serverless Flink 是火山引擎上提供的企业级全托管流式计算平台，支持开箱即用，Serverless极致弹性，极简SQL开发，流批一体等特性。
| |
2 | LAS 表预览探查支持队列选择 | 数据地图新增支持 LAS 表预览探查队列选择。 | 数据检索 |
2022/7/21
发布内容：
- 新增“数据开发特惠版”（限时特惠），每日免费提供20个公共调度实例资源及2CU*时公共计算资源，同时还包括基础的数据开发、数据集成、任务运维、资产检索、数据安全管理功能
- 首次开通DataLeap服务时，可选择“计算引擎组合购买”方式，一键开通DataLeap及LAS服务
2022/7/14
发布内容：
- 数据服务上线，提供 API 在线开发及监控能力，支持 MySQL 数据源
2022/7/11
发布内容：
- 智能市场，新增任务标签管理，可基于标签进行任务管理和查询等操作
- 数据开发，新增Python、Shell、EMR Java Flink多种任务类型
- 数据开发，新增EMR集群类型集成，包括EMR TensorFlow，EMR Flink
- 数据开发，支持LAS多队列模式，可按需选择LAS公共队列或独享队列
- 数据开发，临时查询新增Presto、Trino查询模式
- 数据集成，新增TOS、Oracle、SqlServer数据源离线同步
- 数据安全，支持按照用户组进行授权，提高授权效率
- 数据地图，支持基于数据血缘关系，一键邮件通知上下游节点表变更信息
- 产品体验及性能优化，升级UI及提示文案，修复部分遗留缺陷
2022/6/7
发布内容：
- 数据集成体验优化，可自动获取MySQL数据源的表及字段配置信息，提高任务配置效率
- 数据源注册连通性测试功能优化，MySQL/LAS数据源支持数据源链接连通检验
- 项目下可添加多个已购独享集成资源组，开发数据集成任务时可按需选择
- 数据开发，新增LAS Hive Sensor任务类型，可检查LAS指定分区的数据产出是否完成
- 离线任务运维，新增“运维概览”，展示任务和实例运行状态统计信息，提高运维管理效率
- 数据质量体验优化，支持按数据表监控对象设置质量规则，提供数据表质量监控的统一视图
- 产品体验及稳定性优化，修复遗留缺陷
2022/5/19
发布内容：
- 产品结束免费公测体验，开始售卖正式版本服务
- 提供包括大数据分析、大数据集成、DataOps敏捷研发、分布式数据自治、湖仓一体等多种产品解决方案服务，可以结合业务需求，按需开通购买
- 资源组管理，新增包年包月模式的独享集成资源组，以及按量付费模式的公共调度资源组、公共计算资源组
- 数据安全，授权详情页面交互升级，优化体验
- 数据地图，新增备注问答，通过灵活的问答方式，方便数据消费者理解数据
2022/04/28
发布内容：
- 数据安全，新增用户组功能，可显著提高数据授权效率。同时新增续期提醒，权限到期前的14天/1天，系统发出续期提醒通知
- 数据开发，新增 EMR Java Spark 任务类型，同时资源管理支持上传EMR Jar包资源包
- 数据地图，提供更多的LAS/EMR元数据信息，优化预览探查体验
2022/04/02
发布内容：
- 基线监控规则能力扩展，支持自定义“报警范围”，可按需选择对监控链路上全部任务，或指定项目下的任务进行报警
- 项目下可自定义数据查询结果显示最大记录条数，同时对于查询结果可设置下载、复制的权限
- 支持自定义项目参数，可在任务代码中灵活引用，实现参数的复用
- 项目下支持鉴权配置，可分别设置任务在开发、生产环境运行时的账号鉴权身份
2022/03/04
发布内容：
- 优化数据开发体验：
- 新增编辑锁，优化协同开发体验
- 目录树支持列表模式，可以批量操作，提高效率
- 支持自定义LAS UDF
- 任务运维DAG图支持列表模式，可批量操作
- 数据集成，适配EMR HA模式，新增DSL任务类型
- 数据地图，新增备注问答功能，增加LAS表大小、分区大小、数据条数等元数据信息显示，丰富数据检索内容
- 数据质量，LAS spark driver日志显示优化
2022/01/13
- 发布内容：
- 数据集成，新增Kafka->LAS的数据集成通道类型
- 数据开发，开发EMR HSQL，支持语法解析
- 数据地图，新增EMR Hive字段编辑功能，LAS表支持设置数据保密级别
- 数据安全，支持根据数据保密级别，自定义权限审批流
2021/12/09
DataLeap V1.1.0 发布内容：
- 新增SLA治理，提供核心链路的综合治理能力
- 数据集成，支持自建 RDS 数据源
- 数据开发，支持LAS Java Spark、LAS Java Flink两种任务类型
- 数据安全，支持授权审计
2021/10/15
发布内容：
- 数据开发新增LAS引擎
- 数据集成新增写入LAS数据源
- 数据地图新增LAS数据源库表管理、LAS元数据检索
- 新增数据安全模块，支持LAS引擎授权管理
2021/09/16
发布内容：
- 新增DataLeap控制台
- 新增数据集成
- 新增数据开发
- 新增数据运维
- 新增数据质量
- 新增数据地图