|
目录
1. hadoop102中的操作
1.1修改配置文件core-site.xml
?1.2 修改配置文件hdfs-site.xml ??
1.3 修改每一台机器的HADOOP_HOME 的环境变量? ?
2.分发：将/opt/ha/hadoop-3.1.3 分发到103 和 104?
2.1启动journalnode服务
2.2格式化
2.3同步nn1的元数据信息并启动访问
前准备工作：
1. 在/opt/module/下创建文件夹 ha
? ? ? mkdir /opt/module/ha?? ????
2. 将目前的hadoop安装目录拷贝到 /opt/module/ha
? ? ? cp -r hadoop-3.1.3/ ha/
3. 删除一些多余的目录文件 保证是一个初始化集群的状态
? ? ? rm -rf data/ logs/ abc.txt /……/ wcinput/ wcoutput/
正式开始搭建集群
1. hadoop102中的操作
1.1修改配置文件core-site.xml
? <configuration>
?? ??? ?<!-- 把多个NameNode的地址组装成一个集群mycluster -->
?? ??? ?<property>
?? ??? ? ?<name>fs.defaultFS</name>
?? ??? ? ?<value>hdfs://mycluster</value>
?? ??? ?</property>
?? ??? ?<!-- 指定hadoop数据的存储目录 -->
?? ??? ?<property>
?? ??? ??? ?<name>hadoop.tmp.dir</name>
?? ??? ??? ?<value>/opt/module/ha/hadoop-3.1.3/data</value>
?? ??? ?</property>
?? ??? ?<!-- 配置HDFS网页登录使用的静态用户为atguigu -->
?? ??? ?<property>
?? ??? ??? ?<name>hadoop.http.staticuser.user</name>
?? ??? ??? ?<value>atguigu</value>
?? ??? ?</property>
?? ??? ?<!-- 配置该atguigu(superUser)允许通过代理访问的主机节点 -->
?? ??? ?<property>
?? ??? ??? ?<name>hadoop.proxyuser.atguigu.hosts</name>
?? ??? ??? ?<value>*</value>
?? ??? ?</property>
?? ??? ?<!-- 配置该atguigu(superUser)允许通过代理用户所属组 -->
?? ??? ?<property>
?? ??? ??? ?<name>hadoop.proxyuser.atguigu.groups</name>
?? ??? ??? ?<value>*</value>
?? ??? ?</property>
?? ??? ?<!-- 配置该atguigu(superUser)允许通过代理的用户-->
?? ??? ?<property>
?? ??? ??? ?<name>hadoop.proxyuser.atguigu.groups</name>
?? ??? ??? ?<value>*</value>
?? ??? ?</property>
? ? </configuration>
?? ? ?
?1.2 修改配置文件hdfs-site.xml ??
? ?<configuration>
?? ??? ?<!-- NameNode数据存储目录 -->
?? ??? ?<property>
?? ??? ??? ?<name>dfs.namenode.name.dir</name>
?? ??? ??? ?<value>file://${hadoop.tmp.dir}/name</value>
?? ??? ?</property>
?? ??? ?<!-- DataNode数据存储目录 -->
?? ??? ?<property>
?? ??? ??? ?<name>dfs.datanode.data.dir</name>
?? ??? ??? ?<value>file://${hadoop.tmp.dir}/data</value>
?? ??? ?</property>
?? ??? ?<!-- JournalNode数据存储目录 -->
?? ??? ?<property>
?? ??? ??? ?<name>dfs.journalnode.edits.dir</name>
?? ??? ??? ?<value>${hadoop.tmp.dir}/jn</value>
?? ??? ?</property>
?? ??? ?<!-- 完全分布式集群名称 -->
?? ??? ?<property>
?? ??? ??? ?<name>dfs.nameservices</name>
?? ??? ??? ?<value>mycluster</value>
?? ??? ?</property>
?? ??? ?<!-- 集群中NameNode节点都有哪些 -->
?? ??? ?<property>
?? ??? ??? ?<name>dfs.ha.namenodes.mycluster</name>
?? ??? ??? ?<value>nn1,nn2,nn3</value>
?? ??? ?</property>
?? ??? ?<!-- NameNode的RPC通信地址 -->
?? ??? ?<property>
?? ??? ??? ?<name>dfs.namenode.rpc-address.mycluster.nn1</name>
?? ??? ??? ?<value>hadoop102:8020</value>
?? ??? ?</property>
?? ??? ?<property>
?? ??? ??? ?<name>dfs.namenode.rpc-address.mycluster.nn2</name>
?? ??? ??? ?<value>hadoop103:8020</value>
?? ??? ?</property>
?? ??? ?<property>
?? ??? ??? ?<name>dfs.namenode.rpc-address.mycluster.nn3</name>
?? ??? ??? ?<value>hadoop104:8020</value>
?? ??? ?</property>
?? ??? ?<!-- NameNode的http通信地址 -->
?? ??? ?<property>
?? ??? ??? ?<name>dfs.namenode.http-address.mycluster.nn1</name>
?? ??? ??? ?<value>hadoop102:9870</value>
?? ??? ?</property>
?? ??? ?<property>
?? ??? ??? ?<name>dfs.namenode.http-address.mycluster.nn2</name>
?? ??? ??? ?<value>hadoop103:9870</value>
?? ??? ?</property>
?? ??? ?<property>
?? ??? ??? ?<name>dfs.namenode.http-address.mycluster.nn3</name>
?? ??? ??? ?<value>hadoop104:9870</value>
?? ??? ?</property>
?? ??? ?<!-- 指定NameNode元数据在JournalNode上的存放位置 -->
?? ??? ?<property>
?? ??? ??? ?<name>dfs.namenode.shared.edits.dir</name>
?? ??? ??? ?<value>qjournal://hadoop102:8485;hadoop103:8485;hadoop104:8485/mycluster</value>
?? ??? ?</property>
?? ??? ?<!-- 访问代理类：client用于确定哪个NameNode为Active -->
?? ??? ?<property>
?? ??? ??? ?<name>dfs.client.failover.proxy.provider.mycluster</name>
?? ??? ??? ?<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
?? ??? ?</property>
?? ??? ?<!-- 配置隔离机制，即同一时刻只能有一台服务器对外响应 -->
?? ??? ?<property>
?? ??? ??? ?<name>dfs.ha.fencing.methods</name>
?? ??? ??? ?<value>sshfence</value>
?? ??? ?</property>
?? ??? ?<!-- 使用隔离机制时需要ssh秘钥登录-->
?? ??? ?<property>
?? ??? ??? ?<name>dfs.ha.fencing.ssh.private-key-files</name>
?? ??? ??? ?<value>/home/atguigu/.ssh/id_rsa</value>
?? ??? ?</property>
?? ??? ? ?
?? ? ?</configuration>
1.3 修改每一台机器的HADOOP_HOME 的环境变量? ?
打开 /etc/profile.d/my_evn.sh 修改如下：
?? ? ?HADOOP_HOME=/opt/ha/hadoop-3.1.3
2.分发：将/opt/ha/hadoop-3.1.3 分发到103 和 104?
修改103和104的 环境变量：HADOOP_HOME=/opt/ha/hadoop-3.1.3
2.1启动journalnode服务
在102、103、104 各个JournalNode节点上，输入以下命令启动journalnode服务
hdfs --daemon start journalnode
2.2格式化
在 hadoop102的 nn1 上，对其进行格式化，并启动
? ? ? hdfs namenode -format
?? ? ?hdfs --daemon start namenode
2.3同步nn1的元数据信息并启动访问
分别在 hadoop103的nn2 和 hadoop104的nn3上，同步nn1的元数据信息
hdfs namenode -bootstrapStandby
分别在 hadoop103上启动nn1 和 hadoop104上启动nn2
? hdfs --daemon start namenode
? 通过web地址访问nn1 nn2 nn3?? ?
???????http:hadoop102:9870?
?? ? ? http:hadoop103:9870?
?? ? ? http:hadoop104:9870
在每台机器上启动DN
? ? ? ?hdfs --daemon start datanode
?将其中的一个nn切换成Active状态
hdfs haadmin -transitionToActive --forcemanual nn1
?查看是否Active
hdfs haadmin -getServiceState nn1
? ? ?
3、完整HDFS HA集群规划
????????hadoop102 : ? Namenode ?Datanode JournalNode ? ZKFC ? ?ZK
????????hadoop103 : ? Namenode ?Datanode JournalNode ? ZKFC ? ?ZK
????????hadoop104 : ? Namenode ?Datanode JournalNode ? ZKFC ? ?ZK ??
??
3.1、实现HA的故障自动转移
3.1.1配置文件操作?
1.在core-site.xml文件中增加
?? ? ? <!-- 指定zkfc要连接的zkServer地址 -->
?? ? ? <property>
?? ??? ? <name>ha.zookeeper.quorum</name>
?? ??? ? <value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value>
?? ? ? </property>
?? ?2. 在hdfs-site.xml中增加
?? ? ? <!-- 启用nn故障自动转移 -->
?? ? ? <property>
?? ??? ? ?<name>dfs.ha.automatic-failover.enabled</name>
?? ??? ? ?<value>true</value>
?? ? ? </property>
?? ?3. 修改后分发配置文件
my_rsync /opt/module/ha/hadoop-3.1.3/etc/hadoop?
3.1.2 集群操作
? ?1. 关闭HDFS集群
?? ? ? stop-dfs.sh
? ? 2. 启动Zookeeper集群
?? ? ? zk.sh start
? ? 3. 初始化HA在Zookeeper中状态
?? ? ? hdfs zkfc -formatZK
?? ?4. 启动HDFS服务
?? ? ? start-dfs.sh
?? ?5. 可以去zkCli.sh客户端查看Namenode选举锁节点内容
?? ? ? get /hadoop-ha/mycluster/ActiveStandbyElectorLock
?? ?6. 测试故障自动转移
?? ? ? -- 6.1 ?将当前状态为Active的namenode 杀死
?? ? ? -- 6.2 ?刷新另外两台namenode的web端，关注状态
?? ? ? -- 6.3 ?最后可以到zk中验证锁内容的名称
?? ?
六、加入 YARN HA 集群规划:?? ?
hadoop102 : ? Namenode ?Datanode JournalNode ? ZKFC ? ?ZK ? ResourceManager NodeManager
hadoop103 : ? Namenode ?Datanode JournalNode ? ZKFC ? ?ZK ? ResourceManager NodeManager
hadoop104 : ? Namenode ?Datanode JournalNode ? ZKFC ? ?ZK ? ResourceManager NodeManager
七、YARN HA 集群搭建步骤
? ? 1. 修改yarn-site.xml
?? ??? ?<!-- 启用resourcemanager ha -->
?? ??? ?<property>
?? ??? ??? ?<name>yarn.resourcemanager.ha.enabled</name>
?? ??? ??? ?<value>true</value>
?? ??? ?</property>
?? ??
?? ??? ?<!-- 声明三台resourcemanager的地址 -->
?? ??? ?<property>
?? ??? ??? ?<name>yarn.resourcemanager.cluster-id</name>
?? ??? ??? ?<value>cluster-yarn1</value>
?? ??? ?</property>
?? ??? ?<!--指定resourcemanager的逻辑列表-->
?? ??? ?<property>
?? ??? ??? ?<name>yarn.resourcemanager.ha.rm-ids</name>
?? ??? ??? ?<value>rm1,rm2,rm3</value>
?? ??? ?</property>
?? ??? ?
?? ??? ?<!-- ========== rm1的配置 ========== -->
?? ??? ?<!-- 指定rm1的主机名 -->
?? ??? ?<property>
?? ??? ??? ?<name>yarn.resourcemanager.hostname.rm1</name>
?? ??? ??? ?<value>hadoop102</value>
?? ??? ?</property>
?? ??? ?<!-- 指定rm1的web端地址 -->
?? ??? ?<property>
?? ??? ??? ?<name>yarn.resourcemanager.webapp.address.rm1</name>
?? ??? ??? ?<value>hadoop102:8088</value>
?? ??? ?</property>
?? ??? ?<!-- 指定rm1的内部通信地址 -->
?? ??? ?<property>
?? ??? ??? ?<name>yarn.resourcemanager.address.rm1</name>
?? ??? ??? ?<value>hadoop102:8032</value>
?? ??? ?</property>
?? ??? ?<!-- 指定AM向rm1申请资源的地址 -->
?? ??? ?<property>
?? ??? ??? ?<name>yarn.resourcemanager.scheduler.address.rm1</name> ?
?? ??? ??? ?<value>hadoop102:8030</value>
?? ??? ?</property>
?? ??? ?<!-- 指定供NM连接的地址 --> ?
?? ??? ?<property>
?? ??? ??? ?<name>yarn.resourcemanager.resource-tracker.address.rm1</name>
?? ??? ??? ?<value>hadoop102:8031</value>
?? ??? ?</property>
?? ??? ?
?? ??? ?<!-- ========== rm2的配置 ========== -->
?? ??? ?<!-- 指定rm2的主机名 -->
?? ??? ?<property>
?? ??? ??? ?<name>yarn.resourcemanager.hostname.rm2</name>
?? ??? ??? ?<value>hadoop103</value>
?? ??? ?</property>
?? ??? ?<property>
?? ??? ??? ?<name>yarn.resourcemanager.webapp.address.rm2</name>
?? ??? ??? ?<value>hadoop103:8088</value>
?? ??? ?</property>
?? ??? ?<property>
?? ??? ??? ?<name>yarn.resourcemanager.address.rm2</name>
?? ??? ??? ?<value>hadoop103:8032</value>
?? ??? ?</property>
?? ??? ?<property>
?? ??? ??? ?<name>yarn.resourcemanager.scheduler.address.rm2</name>
?? ??? ??? ?<value>hadoop103:8030</value>
?? ??? ?</property>
?? ??? ?<property>
?? ??? ??? ?<name>yarn.resourcemanager.resource-tracker.address.rm2</name>
?? ??? ??? ?<value>hadoop103:8031</value>
?? ??? ?</property>
?? ??? ?
?? ??? ?<!-- ========== rm3的配置 ========== -->
?? ??? ?<!-- 指定rm3的主机名 -->
?? ??? ?<property>
?? ??? ??? ?<name>yarn.resourcemanager.hostname.rm3</name>
?? ??? ??? ?<value>hadoop104</value>
?? ??? ?</property>
?? ??? ?<property>
?? ??? ??? ?<name>yarn.resourcemanager.webapp.address.rm3</name>
?? ??? ??? ?<value>hadoop104:8088</value>
?? ??? ?</property>
?? ??? ?<property>
?? ??? ??? ?<name>yarn.resourcemanager.address.rm3</name>
?? ??? ??? ?<value>hadoop104:8032</value>
?? ??? ?</property>
?? ??? ?<property>
?? ??? ??? ?<name>yarn.resourcemanager.scheduler.address.rm3</name>
?? ??? ??? ?<value>hadoop104:8030</value>
?? ??? ?</property>
?? ??? ?<property>
?? ??? ??? ?<name>yarn.resourcemanager.resource-tracker.address.rm3</name>
?? ??? ??? ?<value>hadoop104:8031</value>
?? ??? ?</property>
?? ??
?? ??? ?<!-- 指定zookeeper集群的地址 -->?
?? ??? ?<property>
?? ??? ??? ?<name>yarn.resourcemanager.zk-address</name>
?? ??? ??? ?<value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value>
?? ??? ?</property>
?? ??? ?<!-- 启用自动恢复 -->?
?? ??? ?<property>
?? ??? ??? ?<name>yarn.resourcemanager.recovery.enabled</name>
?? ??? ??? ?<value>true</value>
?? ??? ?</property>
?? ??
?? ??? ?<!-- 指定resourcemanager的状态信息存储在zookeeper集群 -->?
?? ??? ?<property>
?? ??? ??? ?<name>yarn.resourcemanager.store.class</name> ? ??
?? ??? ??? ?<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
?? ??? ?</property>
?? ?2. 将yarn-site.xml文件进行分发
my_rsync /opt/module/ha/hadoop-3.1.3/etc/hadoop/yarn-site.xml
?? ?3. 在任意的机器上启动yarn?
?? ? ?
start-yarn.sh
?? ?4. 通过访问web地址验证
?? ?
?? ?5. 测试Yarn故障自动转移
?? ?
?? ?
联邦架构（了解）
? ? 1.当集群中数据量超级大时，NameNode的内存成了性能的瓶颈，所以提出了联邦机制
?? ?2.联邦机制原理：
?? ? ?将NameNode划分成不同的命名空间并进行编号。不同的命名空间之间相互隔离互不干扰。
?? ? ?在DataNode中创建目录，此目录对应命名空间的编号。由此，
?? ? ?编号相同的数据由对应的命名空间进行管理
?? ??? ?128G * 1024(M) * 1024(KB) * 1024(bety) / 150 = xxx
?? ??? ?xxx * 256M = yyy
?? ??? ?yyy / 1024(G) / 1024(TB) / 1024(PB) = 200 左右PB的数据
? ??
? ??
?? ? ??
|