[大数据]【无标题】Hadoop笔记

一、安装VM和（centos）

1、安装VM蓝屏（版本和电脑不兼容）

???解决方法：下载VM16

???安装的时候记得放在一个文件夹，centos放在一个文件夹中

二、修改主机名 IP 映射

1、修改主机名

? ? （1）命令：Hostnamectl set -hostname 主机名 Bash

? ?（2）vi /etc/hostname(重启)

? ? ?(3）一定要在vi的命令模式下（在编辑模式下按esc键）

? ? ? ? ? ?:wq保存退出

? ? ? ? ? ?:wq!强制保存退出

? ? ? ? ? ?:q退出

? ? ? ? ? ?:q!强制退出

? ? (4）编辑模式下：i当前光标所在的位置。

2、IP 修改

? ? ?vi /etc/sysconfig/network-scripts/ifcfg-ens33

3、修改映射

?????vi /etc/hosts

三、网络配置

1、虚拟机

2、Windows电脑

? ? ?遇到电脑上没有vmnet8的，下载CCleaner，清理注册表，重置虚拟机的网络

3、调整防火墙

? ? ? 建议关闭防火墙

??????查看防火墙状态：systemnctl status firewalld

??????关闭防火墙：systemnctl status firewalld

? ? ? 开机防火墙不启动：systemnctl disable firewalld

4、Ping IP地址

? ? （1）ping外部IP地址

? ?（2）Ping百度网址

5、重启网络

? ? Service network restart

四、链接moba

五、Jdk.hadoop部署

1、创建连个文件夹，在opt下面，创建一个software和module文件夹

2、安装jdk和hadoop

3、本地部署

4、伪分布式部署

5、克隆两台虚拟机

6、完全分布式部署

（1）免密

（2）修改环境变量

（3）修改配置文件（hadoop-env.sh?hdfs-site.xml?yarn-site.xml???????? mapred-site.xml）

（4）集群分发

? ? ? ? scp -r 谁 用户名@主机名：地址

（5）格式化namenode

? ? ? ? ?需要删除data和logs文件夹

? ? ? ? ?命令：hdfs namenode-format

（6）单启：hdfs --daemon start namenode

?????????hdfs --daemon start datanode

?????????yarn --daemon start resourcemanager

?????????yarn --daemon start nodemanager

? ? ? ? ?群启：start-all.sh