IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> Hadoop集群动态添加删除节点 -> 正文阅读

[大数据]Hadoop集群动态添加删除节点

添加:

1 配置新的节点

1.1创建新的节点:(slave3)

如果用的是克隆功能克隆节点的话,必须把之前集群的数据进行删除(即配置文件中配置的存放数据的目录),并且重新创建文件夹(创建文件夹的时候注意权限问题,如果使用的用户为root则创建的文件都属root。使用chown -R hadoop:hadoop hadoop2.7.7/ 递归改变hadoop2.7.7/下文件的所属者和组)

1.2修改每台机器主机名(hostname)

hostnamectl?set-hostname?slave3????(立即生效)

reboot (重启)

1.3在hosts下添加Ip映射

vi /etc/hosts

?修改其中1台,然后scp到其它机器?

scp?文件名 远程主机用户名@远程主机名或ip:存放路径

scp?hosts?root@slave1:/etc/

scp hosts root@slave2:/etc/

scp hosts root@slave3:/etc/

传hadoop:scp -r hadoop/ root@slave3:/usr/hadoop/

1.4配置ssh,实现无密码登录

(无密码登录,效果也就是在master上,通过ssh slave1或者ssh slave2就可以登录?对方机器,而不用输入密码。)

(1)进入:ssh localhost

(2)执行:ssh-keygen ## ?(一直回车即可)

(3)将master上的authorized_keys放到其它机器上

???????? cd ~/.ssh

?????? ? cat id_rsa.pub > authorized_keys

???????? chmod?600?./authorized_keys

?(4)将master上的authorized_keys放到添加的节点上

????????? scp authorized_keys root@slave3:/root/.ssh

?(5)测试是否成功:ssh slave3

1.5测试 启动进程(子节点)

hadoop-daemon.sh start datanode

yarn-daemon.sh start nodemanager

2. 配置主节点的slaves并copy整个/usr/hadoop/目录到其它机器

vi /usr/hadoop/hadoop-2.7.7/etc/hadoop/slaves

进入:cd ?/usr/hadoop/hadoop-2.7.7/etc/hadoop

scp slaves root@slave1:/usr/hadoop/hadoop-2.7.7/etc/hadoop

scp slaves root@slave2:/usr/hadoop/hadoop-2.7.7/etc/hadoop

scp slaves root@slave3:/usr/hadoop/hadoop-2.7.7/etc/hadoop

3. 在主节点上进行刷新

hdfs dfsadmin -refreshNodes

4. 查看节点状态

hdfs dfsadmin -report

删除:(slave3)

1. 删除节点(主节点中)

1.1 master主机中hdfs-site.xml配置---dfs.hosts.exclude

在hdfs-site.xml文件中添加:

vi /usr/hadoop/hadoop-2.7.7/etc/hadoop/hdfs-site.xml

?<property>

???? ?<name>dfs.hosts.exclude</name>

??? ? ?<value>/usr/local/hadoop/hadoop-2.7.7/etc/hadoop/excludes</value>

?? ?</property>

1.2 在/usr/local/hadoop/hadoop-2.7.7/etc/hadoop 路径下创建一个excludes 文件,并输要删除节点名称如:slave3

1.3 主节点刷新所有DataNode:hdfs dfsadmin -refreshNodes

????

1.4 查看存活节点:hdfs dfsadmin -report

?2.关闭进程(子节点中)

2.1关闭DataNode进程:hadoop-daemon.sh stop datanode

2.2关闭nodemanage:yarn-daemon.sh stop nodemanager

2.3配置文件:

从NameNode的excludes文件及slaves文件、hosts文件中去掉已经移除的主机名

vi /usr/hadoop/hadoop-2.7.7/etc/hadoop/slaves

scp slaves root@slave1:/usr/hadoop/hadoop-2.7.7/etc/hadoop

scp slaves root@slave2:/usr/hadoop/hadoop-2.7.7/etc/hadoop

vi /etc/hosts

scp hosts?root@slave1:/etc/hosts

scp hosts?root@slave2:/etc/hosts

vi /usr/hadoop/hadoop-2.7.7/etc/hadoop/excludes

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2021-08-09 13:42:21  更:2021-08-09 13:42:37 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年5日历 -2024/5/17 15:57:58-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码