hadoop-env.sh:配置Hadoop运行所需的环境变量
export JAVA_HOME=/usr/apps/jdk
yarn-env.sh:配置Yarn运行所需的环境变量
无需更改,具体原因请参照配置文档:
if [ "$JAVA_HOME" != "" ]; then
JAVA_HOME=$JAVA_HOME
如果"$JAVA_HOME" 不等于空,"JAVA_HOME"就等于$JAVA_HOME也就是你在/etc/profile配置的jdk的名字
fi
if [ "$JAVA_HOME" = "" ]; then
echo "Error: JAVA_HOME is not set."
exit 1
否则:输出"Error: JAVA_HOME is not set."未设置java环境
core-sitel.xml:核心文件
<configuration>
<!-- 指定HDFS中NameNode的地址-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储目录-->
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/apps/hadoop/tmp</value>
<description>Abasefor other temporary directories.</description>
</property>
</configuration>
hdfs-site.xml:HDFS配置文件,继承core-site.xml配置文件
<configuration>
<property>
<!-- 指定文件副本数 -->
<name>dfs.replication</name>
<value>3</value>
</property>
<!-- 指定secondary主机和端口 -->
<!-- secondary:辅助管理namenode主节点 -->
<property>
<name>dfs.namenode.secondary.http.address</name>
<value>slave1:50090</value>
</property>
</configuration>
mapred-site.xml:MapReduce配置文件,继承core-site.xml配置文件
<configuration>
<!-- 指定MapReduce运行时框架,这里指定在Yarn上,默认是local -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
yarn-site.xml:Yarn配置文件,继承core-site.xml配置文件 分布式资源调度系统
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<!-- yarn的主节点在master主机上 -->
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
|