[系统运维]hadoop配置过程

1. ?配置主机名 ? ?/etc/sysconfig/network ? hostname=master ? master 主节点?

2. 配置主机和 ip的映射 ?/etc/hosts ??
192.168.56.2 master

3. ?ssh
1.先确认电脑里装了ssh软件
rpm -qa | grep ssh ? ? 如果安装有，不需要下载，如果没有安装， 使用 ?yum install ssh进行下载
2.开启ssh服务
service sshd start ?
服务开启以后可以通过xshell 进行连接
1.先确保windows可以联通虚拟机 ? ? ??
2.关闭linux防火墙 ? ? ? service iptables stop ? ?chkconfig iptables off 永久关闭防火墙

3.ssh免密登录的配置
1.生成公钥 ? ? ssh-keygen -t rsa ??
2.拷贝公钥 ? ? ssh-copy-id -i ~/.ssh/id_rsa.pub root@master
错误：name or service not known主机名找不到

4.java
1.上传解压jdk
filezilla 把 压缩文件上传，上传之后再解压 ? soft是 自己创建的一个目录 在root家目录下创建
tar -zxvf jdk.......
2. 配置环境变量
首先把本地的jdk删除
查找本地安装的jdk软件包 ? ?rpm -qa | grep jdk
删除本地的jdk安装包 ? rpm -e --nodeps xxxxxxxxxxxxxxxxxxx

配置java 环境变量 ? /etc/profile?
export JAVA_HOME=/root/soft/jdk1.8.0_161
export PATH=$PATH:$JAVA_HOME/bin
配置好环境变量需要使其生效 ? source /etc/profile

配置成功 ? ?java -version 显示 1.8版本

5.hadoop配置
1.上传解压
tar -zxvf xxxxxxxxxxxxxxxxx
2.配置环境变量
配置hadoop环境变量 ? /etc/profile?
export HADOOP_HOME=/root/soft/hadoop-2.6.0-cdh5.7.0
export PATH=$PATH:$HADOOP_HOME/bin
配置好环境变量需要使其生效 ? source /etc/profile

3.hadoop的配置文件
在hadoop安装目录下的 etc/hadoop

hadoop-env.sh ?配置两个环境变量
export JAVA_HOME=/root/soft/jdk1.8.0_161
export HADOOP_HOME=/root/soft/hadoop-2.6.0-cdh5.7.0

core-site.xml
hdfs 文件系统的默认地址 ?8020 是端口，1.x版本的9000 的端口
? <property>
? ? ? ? ? ? ? ? <name>fs.defaultFS</name>
? ? ? ? ? ? ? ? <value>hdfs://master:8020</value>
? ? ? ? ?</property>

hdfs-site.xml
dfs.replication ? 副本机制的副本数 ? dfs.name.dir ? ? namenode的文件地址 ? ?dfs.data.dir ? datanode
的地址
<property>
? ? ? ? ? ? ? ? <name>dfs.replication</name>
? ? ? ? ? ? ? ? <value>3</value>
?</property>
?<property>
? ? ? ? ? ? ? ? <name>dfs.name.dir</name>
? ? ? ? ? ? ? ? <value>/root/soft/hdfs/name</value>
? </property>
? <property>
? ? ? ? ? ? ? ? <name>dfs.data.dir</name>
? ? ? ? ? ? ? ? <value>/root/soft/hdfs/data</value>
? </property>

slaver ?datanode的节点主机名
master

4.格式化hdfs
hadoop namenode -format ?只有第一次开启时需要格式化

5. 开启?
地址 ? ?在hadoop安装目录下的 ?sbin目录
./start-dfs.sh ? ? 开启hdfs的文件 ? ? ?./stop-dfs.sh ? 关闭hdfs的文件

开启之后 用jps 验证 ?4个进程 ?namenode, datanode, ?secondarynamenode ， jps
使用 192.168.56.2:50070 访问文件系统的网页

windows 识别master 主机名：
在C:\Windows\System32\drivers\etc 下hosts文件
192.168.56.2 master
先把hosts文件复制出来使用记事本修改，然后保存之后再覆盖进去
?