环境信息
系统环境
| 版本 | 环境 |
|---|
| OS | Debian 9.13 |
| Python2 | 2.7.13 |
| Python3 | 3.5.3 |
| Java | 1.8.0_312 |
应用程序版本
| 组件 | Hadoop集群 | Flink集群 | Kafka集群 |
|---|
| Flume | 1.9.0 | 1.9.0 | 1.9.0 |
| OpenLDAP | 2.4.58 | 2.4.58 | 2.4.58 |
| Ranger | 2.1.0 | 2.1.0 | 2.1.0 |
| ZooKeeper | 3.5.7 | 3.5.7 | 3.5.7 |
| Flink | 1.11 | 1.11 | - |
| HDFS | 3.3.1 | 3.3.1 | - |
| MapReduce2 | 3.3.1 | 3.3.1 | - |
| YARN | 3.3.1 | 3.3.1 | - |
| Airflow | 2.2.0 | - | - |
| Hive | 3.1.2 | - | - |
| Hue | 4.9.0 | - | - |
| Kafka | - | - | - |
| Knox | 1.5.0 | - | - |
| Presto | 0.260.1 | - | - |
| Presto on YARN | 0.260.1 | - | - |
| Spark | 3.2.1 | - | - |
| Sqoop | 1.4.7 | - | - |
发布说明
以下发布说明包括有关EMR 1.1.0的信息， 更改与1.0.0有关。
首次发布日期：2022年1月11号
新功能
- 新增EMR集群包年包月的付费方式，IDC用户和大集群混部用户更习惯包年包月的使用方式，该种形态在日常负载长时间保持在80%情况下，较按量付费更具成本优势。
- EMR软件栈新增1.1软件版本，新增EMR Stream集群类型，新增Kafka、Flink组件，大数据流式计算场景，可以使用独立的Kafka、Flink集群进行数据实时分析。
- EMR支持的ECS实例规格组更新，新增计算型C系列、内存型R系列、大数据型D系列等多种实例规格族，丰富了集群节点的类型，用户可以更加灵活的选择测试集群配置，比如大规模HDFS建议使用D系列降低成本。
- 增加集群服务监控模块，客户大数据OP团队便于监控集群和开源组件服务的关键性能指标。
- 增加集群操作日志和服务日志模块，便于客户大数据OP团队和开发团队对集群操作和集群开源组件的操作进行审计。
- 新增组件自定义配置参数配置，大数据OP可以自助参考开源组件文档添加参数，更加灵活。
- 支持HDFS、YARN HA（高可用）模式，在Master节点的一台服务挂掉时，可以保证服务连续性，不受影响，是用户上到生产环境的必备能力。