You need to enable JavaScript to run this app.
导航
常用文件路径
最近更新时间:2025.02.08 15:02:36首次发布时间:2022.05.18 15:11:29

本文为您介绍E-MapReduce中常用文件的路径。您可以登录Master节点查看常用文件的安装路径。

大数据组件目录

软件安装目录在/usr/lib/emr/current/xxx下,例如:

  • Hadoop:/usr/lib/emr/current/hadoop
  • Spark :/usr/lib/emr/current/spark
  • Hive:/usr/lib/emr/current/hive
  • Flink:/usr/lib/emr/current/flink
  • Flume:/usr/lib/emr/current/flume

您也可以通过登录Master节点,执行env |grep xxx命令查看软件的安装目录。 例如,执行以下命令,查看Hadoop的安装目录。

env |grep hadoop

返回如下信息,其中/usr/lib/emr/current/hadoop为Hadoop的安装目录。

HADOOP_LIBEXEC_DIR=/usr/lib/emr/current/hadoop/libexec
HADOOP_CONF_DIR=/etc/emr/hadoop/conf
HADOOP_HOME=/usr/lib/emr/current/hadoop
OLDPWD=/usr/lib/emr/current/hadoop

日志目录

组件日志目录在/var/log/emr/xxx下,例如:

  • Yarn ResourceManager日志:/var/log/emr/yarn/hadoop-yarn-resourcemanager-master-1-1.emr-xxx.log
  • Yarn NodeNanager日志:/var/log/emr/yarn/hadoop-yarn-nodemanager-core-1-1.emr-xxx.log
  • HDFS NameNode日志:/var/log/emr/hdfs/hadoop-hdfs-namenode-master-1-2.emr-xxx.log
  • HDFS DataNode日志:/var/log/emr/hdfs/hadoop-hdfs-datanode-core-1-2.emr-xxx.log
  • Hive Metastore日志:/var/log/emr/hive/metastore.out

配置文件

配置文件目录在/etc/emr/xxx/conf下,例如:

  • Hadoop:/etc/emr/hadoop/conf
  • Spark:/etc/emr/spark/conf
  • Hive:/etc/emr/hive/conf
  • Flink:/etc/emr/flink/conf
  • Flume:/etc/emr/flume/conf

如果您需要修改配置文件中的参数,请登录E-MapReduce控制台操作,通过SSH方式只能浏览配置文件中的参数。