[大数据]11. Hadoop集群搭建 - Hadoop配置文件修改 - 基于CentOS7 -【连载中】

续上一篇文章：10. Hadoop集群搭建 - Hadoop环境变量配置 - 基于CentOS7 -【连载中】

未上传hadoop-2.7.4.tar.gz包的同学请自行上传软件包，不懂请参阅：7. Hadoop集群搭建 - 上传应用/软件 - 基于CentOS7 -【连载中】
下载软件包也在其中，请自主操作

查看、修改Hadoop配置文件

进入到该软件的etc/hadoop目录并编辑：

[root@master hadoop]# cd hadoop-2.7.4/etc/hadoop/

此时文件路径为：

[root@master hadoop]# pwd
/usr/apps/hadoop/hadoop-2.7.4/etc/hadoop

ls查看文件：

[root@master hadoop]# ls
capacity-scheduler.xml      hadoop-policy.xml        kms-log4j.properties        ssl-client.xml.example
configuration.xsl           hdfs-site.xml            kms-site.xml                ssl-server.xml.example
container-executor.cfg      httpfs-env.sh            log4j.properties            yarn-env.cmd
core-site.xml               httpfs-log4j.properties  mapred-env.cmd              yarn-env.sh
hadoop-env.cmd              httpfs-signature.secret  mapred-env.sh               yarn-site.xml
hadoop-env.sh               httpfs-site.xml          mapred-queues.xml.template
hadoop-metrics2.properties  kms-acls.xml             mapred-site.xml.template
hadoop-metrics.properties   kms-env.sh               slaves

编辑配置文件

还是在/usr/apps/hadoop/hadoop-2.7.4/etc/hadoop文件夹中

复制生成mapred-site.xml文件

cp mapred-site.xml.template mapred-site.xml

修改hadoop-env.sh

1. vim hadoop-env.sh
2. 修改内容：

# 查看行号命令为：set nu 
# 25行的java_home后面删除替换成自己的Jdk路径：
# set JAVA_HOME in this file, so that it is correctly defined on
# remote nodes.
 
# The java implementation to use.
export JAVA_HOME=/usr/apps/java/jdk

3. 保存退出：Esc+:+wq+Enter(回车)

修改yarn-env.sh

1. vim yarn-env.sh
2. 修改内容：

注意:23行的export前面有#注释，删除掉，将后面的路径该为自己的jdk路径。 查看路径方法：进入编辑文件后直接输入”:set空格nu”

# resolve links - $0 may be a softlink
export YARN_CONF_DIR="${YARN_CONF_DIR:-$HADOOP_YARN_HOME/conf}"
 
# some Java parameters
export JAVA_HOME=/usr/apps/java/jdk
if [ "$JAVA_HOME" != "" ]; then
  #echo "run java in $JAVA_HOME"

4. 保存退出：Esc+:+wq+Enter(回车)

修改core-site.xml

1. vim core-site.xml
2. 修改内容：

在configuration标签中添加内容

3. 配置如下：

<configuration>
<!-- 指定HDFS中NameNode的地址-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储目录-->
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/apps/hadoop/tmp</value>
<description>Abasefor other temporary directories.</description>
</property>
</configuration>

4. 保存退出：Esc+:+wq+Enter(回车)

修改hdfs-site.xml

1. vim hdfs-site.xml
2. 修改内容：

在configuration标签中添加内容

3. 配置如下：

<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>

4. 保存退出：Esc+:+wq+Enter(回车)

修改yarn-site.xml

1. vim yarn-site.xml
2. 修改内容：

在configuration标签中添加内容

3. 配置如下：

<configuration>
<!– Site specific YARN configuration properties –>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value></property>
<property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name><value>master:18040</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:18030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:18025</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:18141</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:18088</value>
</property>
</configuration>

修改mapred-site.xml

1. vim mapred-site.xml
2. 修改内容：

在configuration标签中添加内容

3. 配置如下：

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

4. 保存退出：Esc+:+wq+Enter(回车)

修改slaves

1. vim slaves
2. 添加内容如下：

slave1
slave2

下一篇文章：