You need to enable JavaScript to run this app.
导航
产品概述
最近更新时间:2024.11.19 15:38:36首次发布时间:2024.11.19 15:37:28

火山引擎E-MapReduce(简称“EMR”)是开源Hadoop生态的企业级大数据分析系统,完全兼容开源,提供Hadoop、Spark、Flink、Hive、Presto、Kafka、Doris、StarRocks、ClickHouse、Hudi、Iceberg等生态组件集成和管理,支持海量数据的存储、查询和分析,可弹性伸缩,按需使用,更低成本,可与数据开发治理套件等其他产品能力结合,提供端到端的数据接入/分析/挖掘能力,帮助用户轻松完成企业大数据平台的构建和数据上云,降低运维门槛,加速数据洞察和业务决策。
EMR与自建Hadoop优势对比如下,EMR提供了集群一键化创建和管理解决方案,例如主机选型、集群搭建、集群配置、运行监控、参数配置、作业运行、集群监控告警等。通过EMR可以从繁重的集群相关设备采购、软件安装部署和测试、集群管理和维护等工作中解放出来,专注数据应用开发。

对比维度

火山引擎EMR

自建Hadoop集群

成本

低成本,可按需购买(包年包月/按量付费),支持集群资源灵活调整,无需支付额外License费用

固定资源,资源使用率低,发行版需支付License费用

易用

分钟级别完成环境部署和安装,灵活调整集群资源

静态固定的集群资源,需自行配套各组件,部署周期长

稳定

100%兼容开源社区版本,加持企业级优化和长时间的兼容性和稳定性测试

自行保证兼容性和稳定性,业务上线前需要较长时间验证测试

弹性

按需创建与销毁集群,支持按规则与集群负载自动进行集群的存储和计算资源动态调整

无自动弹性能力,运维人员根据集群压力判断是否需要扩缩容

安全

基于火山生态企业级数据安全、鉴权解决方案,支持细粒度的权限控制,支持RBAC模式

开源社区数据安全方案,能力不完善,无法满足生产

性能

按集群规格默认经过参数调优,对核心组件进行特性级性能优化

开源版本,自行性能调优,难度较大

生态

开源生态与火山引擎生态打通,基于ECS、TOS等特性的性能和功能优化,无缝对接DataLeap等数据产品

社区开源生态,无云上多产品组合使用的丝滑体验

服务

专业的大数据专家服务和售后维护支持

需要组建大数据维护团队,解决问题难度大

支持形态

火山引擎EMR 目前提供三种产品形态,分别是 EMR on ECS、EMR on VKE 以及 EMR Serverless,以适应不同业务特征,不同技术背景的客户需求。

形态

描述

EMR on ECS

火山引擎EMR on ECS 是将大数据平台部署在火山引擎 Elastic Compute Service(ECS)上的一种产品形态,通过 EMR on ECS,用户在创建 EMR 集群后,只需要简单的配置和少量的后期运维,就可以开始高效地使用计算和存储资源。它将 EMR 的大数据处理能力与 ECS 的容器化部署能力相结合,使得用户可以结合企业需求和架构选型比较灵活地配置 EMR 集群,能够适应各种复杂的数据处理和分析场景。

EMR on VKE

火山引擎EMR on VKE 基于容器化服务、开源大数据引擎,提供可快速部署、灵活伸缩、高效安全的大数据服务部署平台。通过EMR on VKE,您能减少对底层集群资源的运维投入,以便于更加专注大数据任务本身。

EMR Serverless

火山引擎EMR Serverless 是 EMR 公有云产品框架下提供完全托管大数据服务(Serverless)的一种产品形态,提供开箱即用,极致弹性的插拔式大数据服务。使用完全兼容开源技术栈的企业级增强组件,目前提供包括 Spark、Presto、StarRocks、Doris、Hive 等服务类型。