[大数据]Hadoop配置文件详解

Hadoop配置文件详解

概述

Hadoop默认配置文件

Hadoop自定义配置文件

存放在$HADOOP_HOME/etc/hadoop这个路径里，用户可以根据项目需求重新进行修改配置

当然还有slaves文件，记录集群的主机名。

hadoop-env.sh

文件中设置的是Hadoop运行时需要的环境变量。JAVA_HOME是必须设置的，即使我们当前的系统中设置了JAVA_HOME，它也是不认识的，因为Hadoop即使是在本机上执行，它也是把当前的执行环境当成远程服务器。

# 修改前
# The java implementation to use.
export JAVA_HOME=${JAVA_HOME}

# 修改后
# The java implementation to use.
export JAVA_HOME=/app/java/jdk1.8.0_181

core-site.xml

核心全局配置文件

<!-- Put site-specific property overrides in this file. -->

<configuration>
    <!-- 
		用于设置Hadoop的文件系统，由URI指定
		默认协议file:///属于本地路径，由于之后要用HDFS，因此需要修改为hdfs://主机名(ip):端口（内部的一个通讯）
	-->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://node1:9000</value>
    </property>

    <!-- 配置Hadoop存储数据目录,默认/tmp/hadoop-${user.name} -->
    <property>
       <name>hadoop.tmp.dir</name>
       <value>file:/app/hadoop-2.10.1/tmp</value>
    </property>

    <!--  缓冲区大小，实际工作中根据服务器性能动态调整 -->
    <property>
       <name>io.file.buffer.size</name>
       <value>131072</value>
    </property>

    <!--  开启hdfs的垃圾桶机制，删除掉的数据可以从垃圾桶中回收，单位分钟 -->
    <property>
       <name>fs.trash.interval</name>
       <value>10080</value>
    </property>
</configuration>

hdfs-sit.xml

Hadoop的底层存储配置文件，主要配置HDFS相关参数

<!-- Put site-specific property overrides in this file. -->

<configuration>
    	<!-- namenode存储hdfs名字的空间的元数据文件目录 -->
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:/app/hadoop-2.10.1/dfs/name</value>
        </property>
		<!-- datanode上的一个数据块的物理的存储位置文件 -->
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:/app/hadoop-2.10.1/dfs/data</value>
        </property>
		<!-- 指定HDFS保存数据副本的数量 -->
        <property>
                <name>dfs.replication</name>
                <value>3</value>
        </property>
    	<!-- 设置一个block的大小：128M-->
		<property>
			<name>dfs.blocksize</name>
			<value>134217728</value>
		</property>
    	<!-- 定义namenode界面的访问地址 -->
        <property>
                <name>dfs.http.address</name>
                <value>node1:50070</value>
        </property>
    	<!-- 定义secondarynamenode的通信地址 -->
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>node2:50071</value>
        </property>
    	<!-- 设置HDFS的文件权限-->
		<property>
			<name>dfs.permissions</name>
			<value>false</value>
		</property>
    	<!-- 指定DataNode的节点配置文件 -->
		<property>
			<name>dfs.hosts</name>
			<value>/app/hadoop-2.10.1/etc/hadoop/slaves</value>
		</property>
</configuration>

mapred-site.xml

Hadoop默认只有个模板文件mapred-site.xml.template,需要使用该文件复制出来一份mapred-site.xml文件

yarn 的 web 地址 和 history 的 web 地址以及指定我们的 mapreduce 运行在 yarn 集群上

<!-- Put site-specific property overrides in this file. -->

<configuration>
    	<!-- 指定 MapReduce 程序运行在 Yarn 上，表示MapReduce使用yarn框架 -->
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
		<!-- 开启MapReduce小任务模式 -->
		<property>
			<name>mapreduce.job.ubertask.enable</name>
			<value>true</value>
		</property>
		<!-- 设置历史任务的主机和端口 -->
		<property>
			<name>mapreduce.jobhistory.address</name>
			<value>node1:10020</value>
		</property>
		<!-- 设置网页访问历史任务的主机和端口 -->
		<property>
			<name>mapreduce.jobhistory.webapp.address</name>
			<value>node1:19888</value>
		</property>
</configuration>

yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
    <!-- NodeManager获取数据的方式shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <!-- 指定YARN的ResourceManager的地址 -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>node1</value>
    </property>
    <!-- yarn的web访问地址 -->
	<property>
        <description>
          The http address of the RM web application.
          If only a host is provided as the value,
          the webapp will be served on a random port.
        </description>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>${yarn.resourcemanager.hostname}:8088</value>
	</property>
	<property>
        <description>
          The https address of the RM web application.
          If only a host is provided as the value,
          the webapp will be served on a random port.
        </description>
        <name>yarn.resourcemanager.webapp.https.address</name>
        <value>${yarn.resourcemanager.hostname}:8090</value>
	</property>
    <!-- 开启日志聚合功能，方便我们查看任务执行完成之后的日志记录 -->
	<property>
		<name>yarn.log-aggregation-enable</name>
		<value>true</value>
	</property>
	<!-- 设置聚合日志在hdfs上的保存时间 -->
	<property>
		<name>yarn.log-aggregation.retain-seconds</name>
		<value>604800</value>
	</property>
</configuration>

slaves

slaves文件里面记录的是集群主机名。一般有以下两种作用：

1. 配合一键启动脚本如start-dfs.sh、stop-yarn.sh用来进行集群启动。这时候slaves文件里面的主机标记的就是从节点角色所在的机器。

2. 配合hdfs-site.xml里面dfs.hosts属性形成一种白名单机制。

dfs.hosts指定一个文件，其中包含允许连接到NameNode的主机列表。必须指定文件的完整路径名,那么所有在slaves中的主机才可以加入的集群中。如果值为空，则允许所有主机。

cd /app/hadoop-2.10.1/etc/hadoop
vi slaves
# 删除slaves中的localhost，然后添加以下内容
node1
node2
node3

2022深度学习开发者峰会

5月20日13:00让我们相聚云端，共襄盛会！