You need to enable JavaScript to run this app.
导航
产品架构
最近更新时间:2024.11.20 11:12:59首次发布时间:2021.09.01 17:27:33

EMR on ECS

产品架构如图:
Image
基础设施: 基于火山引擎云服务器(ECS)、公网IP(EIP)、弹性块存储(EBS)、对象存储(TOS)、私有网络(VPC)为EMR提供弹性扩展、高可靠、高性能、安全隔离的部署环境。
数据存储: HDFS分布式文件系统支持海量结构化和非结构化数据存储,支持多种高效格式满足不同分析引擎要求,同时对接TOS对象存储,实现高可用低成本数据存储。支持Hudi、Iceberg、Delta Lake等多种数据湖存储格式,助力企业构建数据湖解决方案。
资源调度: 基于hadoop资源管理组件Yarn和Kubernetes,为上层应用提供统一的资源管理和调度。
开源引擎: 提供丰富的主流开源生态组件,100%兼容开源,并基于字节内部实践持续深度优化,覆盖离线计算、实时计算、交互式分析、OLAP数据库、NoSQL数据库、云搜索、数据科学、数据开发、权限管控等领域,满足各类大数据应用场景需求。
管控运维: 支持集群创建发放、一键部署、统一运维管理能力,支持集群弹性扩容、弹性伸缩、以及对各组件的监控、告警、配置、日志查看等一站式运维能力。

EMR on VKE

产品架构如图:
Image

  • 基础设施: 基于火山引擎容器服务器(VKE)、弹性容器(VCI)、对象存储(TOS)为EMR提供弹性扩展、高可靠、高性能、安全隔离的部署环境。
  • 开源引擎: 100%兼容开源,提供Spark、Hive、Celeborn、Volcano等组件集成和管理,覆盖离线分析、交互式查询、数据科学、数据开发、权限管控等领域,满足各类大数据应用场景需求。
  • 管控运维: 支持集群创建发放、一键部署、统一运维管理能力,支持集群弹性伸缩、以及对各组件的监控、告警、配置、日志查看、作业管理等一站式运维能力。

EMR Serverless

产品架构如图: