[大数据]MAC M1大数据0-1成神篇-18 hadoop安装

写在前面：

开始搭建hadoop吧

给链接：

链接: https://pan.baidu.com/s/15kXxdkNtLcrkMggAFge0Ew 提取码: oldw

进入主题：

?Hadoop3完全分布式搭建

• 准备安装环境
• 解压文件。
• cd /opt/local/hadoop-3.3.1/etc/hadoop
• 修改集群环境
  • vim hadoop-env.sh

  • export JAVA_HOME=/opt/local/jdk1.8.0_261
    export HDFS_NAMENODE_USER=root
    export HDFS_DATANODE_USER=root
    export HDFS_SECONDARYNAMENODE_USER=root

• 修改配置文件
  • vim core-site.xml

  • <property>
    <name>fs.defaultFS</name>
    <value>hdfs://node01:9000</value>
    </property>
    <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/local/hadoop-3.3.1/full</value>
    </property>

• vim hdfs-site.xml

  • <property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>node02:50090</value>
    </property>
    <property>
    <name>dfs.namenode.secondary.https-address</name>
    <value>node02:50091</value>
    </property>
    <property>
    <name>dfs.replication</name>
    <value>2</value>
    </property>

• vim workers

  • node01
    node02
    node03

• 拷贝分发软件
• 将配置好的软件分发到其他主机

  • scp -r hadoop-3.3.1 root@node02:`pwd`
    scp -r hadoop-3.3.1 root@node03:`pwd`

• 修改环境变量
  • vim /etc/profile

  • export HADOOP_HOME=/opt/local/hadoop-3.3.1
    export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

• 将环境变量拷贝到其他主机

  • scp /etc/profile root@node02:/etc/profile
    scp /etc/profile root@node03:/etc/profile

• 重新加载三台服务器的环境变量

  • source /etc/profile

• ?格式化NameNode

  • hdfs namenode -format
    start-dfs.sh

• 因3.0版本，默认从50070变成了9870

  • http://node01:9870

关机拍摄快照

完毕～

开发者涨薪指南

48位大咖的思考法则、工作方式、逻辑体系