Hadoop搭建
用到的文件
所有操作在root用户下进行
1.Centos7 X64位系统
2.Jdk8 x64位
3.Hadoop2.6.0 X64位
（版本位数尽量相同，不然后期会有较多报错，虽然不影响运行，但是看着不舒服）
Jdk8和hadooop2.6.0提取地址链接：https://pan.baidu.com/s/1J0B9cF_8-fNGJVF1ehzrOw 提取码：g56b
1.修改每个节点的主机名
vim /etc/hostname
2.在三个节点修改配置hosts文件
在hosts文件中分别配置三个节点的主机名ip地址映射
vim /etc/hosts
在文件中添加
X.X.X.X master
X.X.X.X slave1
X.X.X.X slave2
在master与slave之间配置ssh互信
1.在所有节点创建
ssh-keygen -t rsa
2.认证授权
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
3.文件赋权
chmod 600 ~/.ssh/authorized_keys
4.分发到所有slave
scp ~/.ssh/authorized_keys root@slave1:~/.ssh
scp ~/.ssh/authorized_keys root@slave2:~/.ssh
5.关闭防火墙及防火墙自启
systemctl stop firewalld.service
systemctl disable firewalld.service
配置JDK
(先只配置master后续配置完hadoop再分发至slave)
解压jdk-8u191-linux-x64.tar.gz，指定到/usr/local/src
tar -zxf jdk-8u191-linux-x64.tar.gz -C /usr/local/src
为解压后的文件夹重命名
mv jdk1.8.0_191 jdk
修改环境变量
vim ~/.bash_profile
在文件末尾添加
export JAVA_HOME=/usr/local/src/jdk
export PATH=$JAVA_HOME/bin:$PATH
文件生效
source ~/.bash_profile
检查jdk版本
java -version
配置Hadoop
解压hadoop-2.6.0-cdh5.9.0.tar.gz，指定到/usr/local/src
tar -zxf hadoop-2.6.0.tar.gz -C /usr/local/src
为解压后的文件夹重命名
mv hadoop-2.6.0 hadoop
在master上配置环境变量
vim ~/.bash_profile
在文件末尾添加
export HADOOP_HOME=/usr/local/src/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS=-Djava.library.path=$HADOOP_HOME/lib
文件生效
source ~/.bash_profile
在hadoop/etc/hadoop/中修改以下文件
修改配置文件 hadoop-env.sh
在文件末尾添加
export JAVA_HOME=/usr/local/src/jdk
export HADOOP_HOME=/usr/local/src/hadoop
export HADOOP_COMMON_LTB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS=-Djava.library.path=$HADOOP_HOME/lib
修改配置文件 core-site.xml
在 中添加
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/src/hadoop/tmp</value>
</property>
修改配置文件 hdfs-site.xml
在 中添加
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/src/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/src/hadoop/tmp/dfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
修改配置文件mapred-site.xml
将mapred-site.xml.template复制为mapred-site.xml
cp mapred-site.xml.template mapred-site.xml
在 中添加
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
修改配置文件yarn-site.xml
在 中添加
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
配置slaves
vim slaves
将文件中东西全部删掉，并添加以下信息（一行一个）
master
slave1
slave2
分发到slave
scp /usr/local/src root@slave1:/usr/local/
scp /usr/local/src root@slave2:/usr/local/
———————至此配置完成，仔细检查配置确保无问题可启动
格式化HDFS
hdfs namenode -format
启动
start-all.sh
stop-all.sh
jps查看进程 master上存在 NameNode、ResourceManager、SecondaryNameNode进程
slave1和slave2上存在 DataNode、NodeManager进程
|