什么是EMR on VKE--E-MapReduce-火山引擎

文档中心

导航

什么是EMR on VKE

最近更新时间：2024.09.14 11:46:16首次发布时间：2024.03.05 14:19:27

火山引擎E-MapReduce（简称EMR） on VKE 基于容器化服务、开源大数据引擎，提供可快速部署、灵活伸缩、高效安全的大数据服务部署平台。通过EMR on VKE，您能减少对底层集群资源的运维投入，以便于更加专注大数据任务本身。

产品架构

基础设施： 基于火山引擎容器服务器（VKE）、弹性容器（VCI）、对象存储（TOS）为EMR提供弹性扩展、高可靠、高性能、安全隔离的部署环境。
开源引擎： 100%兼容开源，提供Spark、Hive、Celeborn、Volcano等组件集成和管理，覆盖离线分析、交互式查询、数据科学、数据开发、权限管控等领域，满足各类大数据应用场景需求。
管控运维： 支持集群创建发放、一键部署、统一运维管理能力，支持集群弹性伸缩、以及对各组件的监控、告警、配置、日志查看、作业管理等一站式运维能力。

优势	描述
开源 & 开放	100%兼容社区主流版本，满足应用开发需求。提供半托管的白盒环境，支持自定义镜像等开放能力。用户可以自行选择满足业务负载的最优性价比的实例规格。
开源引擎增强	提供Spark Native Engine和开源Spark相比性能提升2-5倍，提供百万级别Spark Shuffle能力。
节省成本	支持AI、大数据、在线业务混合部署，使得资源可以分时复用，达到削峰填谷的效果。
简化运维	一套运维体系，一套集群管理，全面覆盖AI、大数据和在线等多种业务。提供集群、服务、队列和作业管理能力，简化问题分析。