产品架构如图:
基础设施: 基于火山引擎云服务器(ECS)、公网IP(EIP)、弹性块存储(EBS)、对象存储(TOS)、私有网络(VPC)为EMR提供弹性扩展、高可靠、高性能、安全隔离的部署环境。
数据存储: HDFS分布式文件系统支持海量结构化和非结构化数据存储,支持多种高效格式满足不同分析引擎要求,同时对接TOS对象存储,实现高可用低成本数据存储。支持Hudi、Iceberg、Delta Lake等多种数据湖存储格式,助力企业构建数据湖解决方案。
资源调度: 基于hadoop资源管理组件Yarn和Kubernetes,为上层应用提供统一的资源管理和调度。
开源引擎: 提供丰富的主流开源生态组件,100%兼容开源,并基于字节内部实践持续深度优化,覆盖离线分析、实时计算、交互式分析、OLAP数据库、NoSQL数据库、云搜索、数据科学、数据开发、权限管控等领域,满足各类大数据应用场景需求。
管控运维: 支持集群创建发放、一键部署、统一运维管理能力,支持集群弹性扩容、弹性伸缩、以及对各组件的监控、告警、配置、日志查看等一站式运维能力。
产品架构如图:
产品架构如图: