批式计算 Spark版-火山引擎

立即注册

功能介绍

全托管Spark为您提供企业级服务

完全兼容生态

100%兼容开源 Spark 生态，迁移成本低；插件化企业级增强，性能优异；增量入湖计算及出湖分析

全托管一站式

全托管 Spark 服务，操作简单易用；开箱即用，免运维

Serverless 弹性

租户级端到端安全隔离，基于火山引擎 VKE/VCI 弹性扩展能力

大数据及 AI 一体化

火山引擎自研通用深度学习框架，大数据 BI 与 AI 一体化融合计算

私有化部署

支持私有化部署，云原生大数据与 AI 一体化融合计算引擎

交互协同

交互式作业执行方式，分析结果可视化展示

企业级安全

基于 OpenLDAP 用户及角色控制，基于 Ranger 的权限管理及审计

功能介绍

全托管Spark为您提供企业级服务

完全兼容生态

100%兼容开源 Spark 生态，迁移成本低；插件化企业级增强，性能优异；增量入湖计算及出湖分析

全托管一站式

全托管 Spark 服务，操作简单易用；开箱即用，免运维

Serverless 弹性

租户级端到端安全隔离，基于火山引擎 VKE/VCI 弹性扩展能力

大数据及 AI 一体化

火山引擎自研通用深度学习框架，大数据 BI 与 AI 一体化融合计算

私有化部署

支持私有化部署，云原生大数据与 AI 一体化融合计算引擎

交互协同

交互式作业执行方式，分析结果可视化展示

企业级安全

基于 OpenLDAP 用户及角色控制，基于 Ranger 的权限管理及审计

产品架构

企业级全托管批式计算引擎完整架构

点击查看完整架构

产品架构

企业级全托管批式计算引擎完整架构

产品优势

批式计算 Spark 版核心优势

高性能

· 更快的流批一体计算引擎
· Delta 查询优化
· TOS 访问加速

高可靠

· Schema 校验
· 数据 Time-Travel
· 小文件合并
· ACID 事务性

高稳定

· 火山引擎自研 Cloud Shuffle Service
· 大幅提升 Spark 作业性能和稳定性

企业级

· Bucket 表自适应优化
· 支持 Range Partition
· AE SkewedJoin 优化
· mergeGetMapValue 优化

易用性

· Notebook 交互开发
· 支持 Scala/Python

可扩展

· 通用数据存储格式
· 统一控制台
· Serverless 弹性

高性能

· 更快的流批一体计算引擎
· Delta 查询优化
· TOS 访问加速

高可靠

· Schema 校验
· 数据 Time-Travel
· 小文件合并
· ACID 事务性

高稳定

· 火山引擎自研 Cloud Shuffle Service
· 大幅提升 Spark 作业性能和稳定性

企业级

· Bucket 表自适应优化
· 支持 Range Partition
· AE SkewedJoin 优化
· mergeGetMapValue 优化

易用性

· Notebook 交互开发
· 支持 Scala/Python

可扩展

· 通用数据存储格式
· 统一控制台
· Serverless 弹性

应用场景

覆盖流批一体及近实时数据湖场景

流批一体数据处理

批式处理 Spark 提供 Streaming/Batch 流批一体数据处理能力，同时提供结构化、半结构化数据支持，支持自研与开源丰富上下游数据源与数据存储

近实时数据湖

提供 Schema 校验确保数据一致性，数据 Time-Travel，小文件自动优化及 ACID 事务性

应用场景

覆盖流批一体及近实时数据湖场景

流批一体数据处理

批式处理 Spark 提供 Streaming/Batch 流批一体数据处理能力，同时提供结构化、半结构化数据支持，支持自研与开源丰富上下游数据源与数据存储

近实时数据湖

提供 Schema 校验确保数据一致性，数据 Time-Travel，小文件自动优化及 ACID 事务性

客户案例

抖音及穿山甲首选批式处理引擎

抖音短视频

穿山甲

离线 ETL
火山引擎批式计算 Spark承载了字节内部大部分的离线ETL的海量数据处理任务，帮助用户高效构建离线数仓；同时也给BI分析师等业务方提供基于Spark的临时查询服务

机器学习
特征工程是机器学习领域中重要一环，火山引擎Spark在特征提取/离线调研等方面也得到了广泛的应用

使用指南

欢迎查看使用指南

产品文档

批式计算 Spark 版使用手册，涵盖产品 Release Notes，开发指南、常见问题以及相关协议

一键启动火山引擎之旅

联系我们