[大数据]Hadoop完全分布

一、核心文件配置

?1、从Linux中获取jdk路径

echo $JAVA_HOME

?配置hadoop-env.sh

cd /opt/module/hadoop-3.1.3/etc/hadoop/
vi hadoop-env.sh

?将配置文件修改如下保存并退出

?配置core-site.xml

vi core-site.xml

将下列命令粘贴进去?

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
 
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop100:9820</value>
</property>
 
<!-- hadoop.data.dir是自定义的变量，下面的配置文件会用到 -->
    <property>
        <name>hadoop.data.dir</name>
        <value>/opt/module/hadoop-3.1.3/data</value>
    </property>
</configuration>

二、HDFS文件配置

1、配置hdfs-site.xml

vi hdfs-site.xml

?将下列文件复制粘贴上去保存并退出

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
 
<configuration>
  <!-- namenode数据存放位置 -->
<property>
    <name>dfs.namenode.name.dir</name>
    <value>file://${hadoop.data.dir}/name</value>
  </property>
 
  <!-- datanode数据存放位置 -->
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file://${hadoop.data.dir}/data</value>
  </property>
 
  <!-- secondary namenode数据存放位置 -->
    <property>
    <name>dfs.namenode.checkpoint.dir</name>
    <value>file://${hadoop.data.dir}/namesecondary</value>
  </property>
 
  <!-- datanode重启超时时间是30s，解决兼容性问题，跳过 -->
  <property>
    <name>dfs.client.datanode-restart.timeout</name>
    <value>30</value>
  </property>
 
  <!-- 设置web端访问namenode的地址 -->
<property>
    <name>dfs.namenode.http-address</name>
    <value>hadoop100:9870</value>
</property>
 
  <!-- 设置web端访问secondary namenode的地址 -->
  <property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>hadoop102:9868</value>
  </property>
</configuration>

三、YARN文件配置

1、配置yarn-site.xml

vi yarn-site.xml

将下列代码复制粘贴进去保存并退出

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
 
<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

五 、分布式集群格式化

1、格式化之前要把要把三个服务器上的hadoop安装目录下的 data目录和logs目录都删掉。

hdfs namenode -format

六、启动集群（单起）

Hadoop100启动namendo、datanode、nodemanager

Hadoop101启动resourcemanager、datanode、nodemanager

Hadoop102启动resourcemanager、datanode、nodemanager

hdfs --daemon start  namenode
hdfs --daemon start  datanode
yarn--daemon start   resourcemanager
yarn --daemon start  nodemanager

七、群起

Hadoop100

start-all.sh