简单配置 仅供参考
一、配置环境
vim /etc/profile ?或 ?vim /etc/profile.d/my_env.sh
#HADOOP_HOME
export HADOOP_HOME=/opt/bdp/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
source /etc/profile ?或 ?source /etc/profile.d/my_env.sh
二、配置集群
核心配置文件
cd $HADOOP_HOME/etc/hadoop
vim core-site.xml
<configuration>
? ? ? ? <property>
? ? ? ? ? ? ? ? <name>fs.defaultFS</name>
? ? ? ? ? ? ? ? <value>hdfs://ml01:8020</value>
? ? ? ? </property>? ? ? ? <!-- 指定 hadoop 数据的存储目录 -->
? ? ? ? <property>
? ? ? ? ? ? ? ? <name>hadoop.tmp.dir</name>
? ? ? ? ? ? ? ? <value>/opt/module/hadoop-3.1.3/data</value>
? ? ? ? </property>? ? ? ? <!-- 配置 HDFS 网页登录使用的静态用户为 root -->
? ? ? ? <property>
? ? ? ? ? ? ? ? <name>hadoop.http.staticuser.user</name>
? ? ? ? ? ? ? ? <value>root</value>
? ? ? ? </property>
</configuration>
三、HDFS 配置
文件配置 hdfs-site.xml
<configuration>?
? ? ? ? <!-- nn web 端访问地址-->
? ? ? ? <property>
? ? ? ? ? ? ? ? <name>dfs.namenode.http-address</name>
? ? ? ? ? ? ? ? <value>ml01:9870</value>
? ? ? ? </property>
? ? ? ? <!-- 2nn web 端访问地址-->
? ? ? ? <property>
? ? ? ? ? ? ? ? <name>dfs.namenode.secondary.http-address</name>
? ? ? ? ? ? ? ? <value>ml03:9868</value>?
? ? ? ? </property>?</configuration>
四、YARN 配置文件
配置 yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
? ? ? ? <!-- 指定MR 走 shuffle -->
? ? ? ? <property>
? ? ? ? ? ? ? ? <name>yarn.nodemanager.aux-services</name>
? ? ? ? ? ? ? ? <value>mapreduce_shuffle</value>
? ? ? ? </property>? ? ? ? <!-- 指定 ResourceManager 的地址-->
? ? ? ? <property>
? ? ? ? ? ? ? ? <name>yarn.resourcemanager.hostname</name>
? ? ? ? ? ? ? ? <value>ml02</value>
? ? ? ? </property>? ? ? ? <!-- 环境变量的继承 -->
? ? ? ? <property>
? ? ? ? ? ? ? ? <name>yarn.nodemanager.env-whitelist</name>
? ? ? ? ? ? ? ? ? ? ? ? ? ? ?????????????????<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>????????</property>
? ? ? ? <!-- 开启日志聚集功能 -->
? ? ? ? <property>
? ? ? ? ? ? ? ? <name>yarn.log-aggregation-enable</name>
? ? ? ? ? ? ? ? <value>true</value>
? ? ? ? </property>
? ? ? ? <!-- 设置日志聚集服务器地址 -->
? ? ? ? <property>
? ? ? ? ? ? ? ? <name>yarn.log.server.url</name>
? ? ? ? ? ? ? ? <value>http://ml01:19888/jobhistory/logs</value>
? ? ? ? </property>
? ? ? ? <!-- 设置日志保留时间为 7 天 -->
? ? ? ? <property>
? ? ? ? ? ? ? ? <name>yarn.log-aggregation.retain-seconds</name>
? ? ? ? ? ? ? ? <value>604800</value>
? ? ? ? </property>
</configuration>
?
五、MapReduce 配置文件
????????配置 mapred-site.xml
<configuration>
? ? ? ? <!-- 指定 MapReduce 程序运行在 Yarn 上 -->
? ? ? ? <property>
? ? ? ? ? ? ? ? <name>mapreduce.framework.name</name>
? ? ? ? ? ? ? ? <value>yarn</value>
? ? ? ? </property>
? ? ? ? <property>
? ? ? ? ? ? ? ? <name>mapreduce.jobhistory.address</name>
? ? ? ? ? ? ? ? <value>ml01:10020</value>
? ? ? ? </property>? ? ? ? <!-- 历史服务器 web 端地址 -->
? ? ? ? <property>
? ? ? ? ? ? ? ? <name>mapreduce.jobhistory.webapp.address</name>
? ? ? ? ? ? ? ? <value>ml01:19888</value>
? ? ? ? </property>
</configuration>
?
六、配置workers
????????vim /opt/bdp/hadoop-3.1.3/etc/hadoop/workers
? ? ? ? 例如
? ? ? ? ml01
? ? ? ? ml02
? ? ? ? ml03
七、在集群上分发配置好的 Hadoop 配置文件
????????????????xsync /opt/bdp/hadoop-3.1.3/etc/hadoop/
- 启动集群
????????集群初始
????????????????hdfs namenode -format
????????第一台虚拟机启动
????????????????sbin/start-dfs.sh
????????第二台虚拟机启动
????????????????sbin/start-yarn.sh
????????关闭防火墙 systemctl stop firewalld.service
????????访问网页
八、在配置hadoop集群中遇到的问题
????????
解决步骤
????????方案一 （放到文件头部 空白处） 不论用哪种都要分发
???????（1）对于start-dfs.sh和stop-dfs.sh文件，添加下列参数
????????????????HDFS_DATANODE_USER=root
????????????????HADOOP_SECURE_DN_USER=hdfs
????????????????HDFS_NAMENODE_USER=root
????????????????HDFS_SECONDARYNAMENODE_USER=root
??????（2）对于start-yarn.sh和stop-yarn.sh文件，添加下列参数：
????????????????YARN_RESOURCEMANAGER_USER=root
????????????????HADOOP_SECURE_DN_USER=yarn
????????????????YARN_NODEMANAGER_USER=root
????????方案二
????????添加环境变量
????????????????export HDFS_NAMENODE_USER=root
????????????????export HDFS_DATANODE_USER=root
????????????????export HDFS_SECONDARYNAMENODE_USER=root
????????????????export YARN_RESOURCEMANAGER_USER=root
????????????????export YARN_NODEMANAGER_USER=root