本文为您介绍 2025 年大数据研发治理套件 DataLeap 产品功能版本更新和相关文档动态。
2025/03/17
序号 | 功能 | 功能描述 | 使用文档 |
|---|
1 | 数据集成 | - 新增 DataSail 准实时整库同步 PostgreSQL2LAS 解决方案，增量数据通过数据采集方案实时写入对应的 Log 表，Log 表再定期与 Base 表进行 Merge 操作，将最终增量数据写入 Base 表中，进行全增量数据合并，提升全量+增量数据迁移效率。
- DataSail 解决方案列表界面，在方案运维操作中新增了方案解绑能力。该功能支持将列表中的方案置为只读状态，此后集成任务的编辑、维护等操作可移步至数据开发界面进行，从而确保两个界面中的同一任务配置保持一致。
- 实时整库同步解决方案新增 TiDB 数据源类型，支持 TiDB 数据写入 ByteHouse 企业版（ByteHouse CE）数据库表中；离线单通道模式支持读取和写入 TiDB 数据源类型。
- 数据写入 LAS 目标数据源时，新增支持在开发界面一键建表的能力 ，提升目标表创建效率。
- 在 DataLeap 项目开启数据源开发与生产环境隔离的情况下，对开发环境数据源配置信息的填写方式进行优化，使其支持一键复制生产环境数据源配置信息，提升开发环境数据源信息的配置效率。
- Redis 数据源写入数据时，若写入字段类型为 set、hash、sorted_set 时，支持在写入数据前删除相同的 redis key 数据。
- LarkSheet 数据源新增离线写入通道，支持将其他源端的数据写入到飞书电子表格和多维表格中。
| |
2 | 数据开发 | - Shell、Python、Notebook任务类型，完善任务产出数据登记，支持登记 EMR Serverless Spark、EMR Serverless Presto、EMR Serverless StarRocks、ByteHosue 等所有引擎，便于后续下游任务维护数据血缘关。
- 数据开发资源库优化资源上传能力，不同项目下支持上传相同的资源文件，提升不同项目下的资源文件复用率。
- 数据开发元数据界面，新增支持 ByteHouse CE 引擎下的数据库表信息查看，在此可根据 ByteHouse CE 的库表信息直接一键生成相应的数据查询语句。
| |
3 | 控制台 | - 项目控制台新增智能助手控制配置项。运维助手控制台新增支持诊断场景自定义。
- 推送渠道配置页面全面上线，且调整获权方配置要求（获权方可以不配置飞书账号映射，即获权方没有飞书账号映射时，也不影响DataLeap 数据安全支持飞书审批工单。）
| |
4 | 数据安全 | - ByteHouse CE/CDW表权限有效期支持自定义
- 优化分类分级规则配置：新建标签时只有选内容才需配置阈值，而字段名和描述不会触发该配置；调整阈值配置信息。
- 新增系统管理菜单项，可按需进行不同管理员角色的配置。
- 推送渠道配置页面配置飞书账号映射后，审批工单支持飞书审批。
- 拆解、调整审批工单文档结构、内容等。
| |
5 | 数据质量 | | |
2025/03/07
序号 | 功能 | 功能描述 | 使用文档 |
|---|
1 | 数据开发 | - 【白名单】DataLeap 方式开通智能开发助手、智能运维助手、智能找数助手计费项服务，平台将根据模型的输入、输出的总 Token 数进行按量计费；
- 【白名单】DataLeap 智能开发助手接入DeepSeek R1 模型，提升数据处理和智能问答分析能力；
- 【白名单】数据地图检索数据中新增智能找数助手，通过搜索库表信息关键词或采用智能问答模式，快速检索目标表。
| |
2 | 控制台 | - 【白名单】DataLeap 支持开通智能开发助手、智能运维助手、智能找数助手三款计费项服务，平台将根据模型的输入、输出总 Token 数进行按量计费。
- 通过对 Hadoop 类型集群部署 Presto 服务，DataLeap 数据安全支持半托管 Presto 的库表权限控制。
| |
3 | 数据地图 | - 【白名单】开通智能找数助手后，支持智能问答模式检索数据。
- LAS Catalog 表支持 TTL 生命周期管理设置。
| |
4 | 数据安全 | | |
2025/02/12
序号 | 功能 | 功能描述 | 使用文档 |
|---|
1 | 数据集成 | - 独享数据集成资源组运行实例窗口，优化查看任务 CPU、内存申请量与使用量方式，默认不全选当前页的申请量与使用量，提升勾选查看效率；
- 写入数据集成 EMR Serverless Hive（LAS Catalog）数据源时，支持通过选择的源表字段信息，在数据地图中实现快速建表能力，提供多种建表方式；
- Oracle 数据源支持配置分库分表形式读取源端数据源，提升 Oracle 分库分表配置效率。
- MySQL、Oracle 分库分表配置，支持手动添加 ${database}_${table} 或 ${database}.${table} 形式的常量字段，将分库分表各自的来源库表信息，写入到目标表字段中，方便在目标表中区分数据的来源信息。
- 在读取Hive数据源时，可支持对多个表分区数据的读取，并将这些数据写入目标。
- MaxCompute 数据源支持以 insert overwrite 方式向非分区表中写入数据，同步过程中将自动清除源表中的原有历史数据。
- 实时整库同步、实时分库分表解决方案通过数据缓存方案配置时，新增支持数据转换能力，满足各类解决方案缓存场景下的数据转换需求。
- 实时整库同步解决方案中，源表和目标表映射关系配置时，支持全屏显示展示后进行表映射配置，以便更清晰地查看源表与目标表的映射关系信息，提升任务配置效率。
- 实时整库/实时分库分表 PostgreSQL(带Kafka缓存)2StarRocks、PostgreSQL(带Kafka缓存)2ByteHouse_CDW 通道，新增支持新增列、修改列类型等 DDL 配置能力；
| |
2 | 数据开发 | - 数据开发任务发布，新增跨区域同步任务配置，可将当前地域中已发布的任务，同步到其他地域下，提升跨区域任务同步效率。
- Serverless Flink 引擎流式计算作业，在创建作业快照界面，新增停止任务按钮，在确保有最后一个快照是成功的情况下，您可在此停止正在运行的流式作业。
| |
2025/01/16
序号 | 功能 | 功能描述 | 使用文档 |
|---|
1 | 数据开发 | - 函数库新增 ByteHouse 云数仓版公共函数。在 ByteHouse CDW SQL 任务中，您能够直接使用相关函数，从而提升数据开发效率。
- 运维中心资源运维界面中，显示当前独享计算、调度资源组已绑定哪些 DataLeap 项目，提升资源组运维效率。
- 新增数据开发全流程引导介绍，涵盖数据开发、数据集成任务创建流程，帮助您快速熟悉产品使用流程，提高开发效率。
| |
2 | 控制台 | - 引擎绑定时，随机生成的密码会发送到IAM账号邮箱；子账号可以查看自己的密码。
- 开通的服务和资源组的自动续费、手动续费调整优化；tab页签调整大小。
- 支持跨区域同步设置。
| |
3 | 数据安全 | - LAS Formation 改名为 LAS Catalog。
- 数据脱敏、加解密支持 LAS Catalog 类型。
- 审批人收到的权限申请邮件增加跳转链接。
| |
4 | 数据地图 | - LAS Formation 改名为 LAS Catalog。
- 资产管理新增规则维护功能。
- 增加了模型规范化建表的管理功能，支撑各业务线的表命名规范性。
- 数据检索首页改版。
- 血缘图谱更名为血缘应用。
- DB管理、资产管理文档结构、内容优化。
| |
5 | 数据质量 | - 双数据源校验支持MySQL连接串（即MySQL本地）、Oracle连接串（即Oracle本地）两种类型。
| |