| |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
-> 大数据 -> Hadoop调优手册(4)——HDFS集群扩容及缩容 -> 正文阅读 |
|
[大数据]Hadoop调优手册(4)——HDFS集群扩容及缩容 |
1.添加白名单、黑名单设置白名单和黑名单后,只有白名单上的主机节点允许访问 NameNode;不在白名单上的主机节点都会从集群中退出。在黑名单上的主机节点也会从集群中退出,黑名单一般用来退役主机节点。 * 步骤(1)在目录/opt/module/hadoop-3.1.3/etc/hadoop下,创建文件 whitelist 和 blacklist(文件名称可自定义)。 (2)在文件 whitelist 和 blacklist 中分别写入想要添加到白名单或黑名单的主机名称。 (3)在 hdfs-site.xml 配置文件中增加 dfs.hosts 和 dfs.hosts.exclude 配置参数。
(4)将文件 whitelist 、blacklist 和 hdfs-site.xml 分发给其他节点。 (5)由于修改了配置文件 hdfs-site.xml ,所以需要重启集群。后续修改 whitelist 和 blacklist 中的主机名称后则不需要重启集群,只需刷新 NameNode 节点即可。刷新 NameNode 节点命令如下:
至此,白名单和黑名单添加完成。 2.服役新服务器当集群中现有的节点的容量不能满足存储数据的需求时,就需要动态添加新的节点到集群中。 动态添加:在不重启集群的情况下添加新节点 * 步骤:(1)首先准备一台新服务器(虚拟机的话可以拷贝集群中的一台服务器来修改,这样能减少一些重复的配置操作)。 (2)修改新服务器的IP地址和主机名称。 (3)删除拷贝过来的 Hadoop 的历史数据,data 和 logs 数据。 (4)配置新服务器和集群中其他节点的无密登录。 (5)将新服务器的主机名称添加到白名单中,并分发给其他各节点。 (6)将新服务器的主机名称添加到workers文件中,并分发给其他各节点。(这步可以不做,添加到workers文件中是为了让该节点以后可以通过 start-dfs.sh 与其他节点一起启动) (7)启动新服务器的 DataNode。命令如下:
(8)刷新 NameNode 节点。命令 至此,一台新服务器就已经动态添加到了集群中。 3.服务器间数据均衡如果总是在某一个节点提交任务,而不在其他节点提交任务,就会导致该节点的数据量远大于其他节点。 * 开启数据均衡命令
* 停止数据均衡命令
注意 :由于 HDFS 需要启动单独的 Rebalance Server 来执行 Rebalance 操作,所以尽量不要在 NameNode 上执行 start-balancer.sh,而是找一个比较空闲的节点来执行。 4.黑名单退役服务器当我们的集群不需要太多的服务器(节点)时,可以通过黑名单来动态退役服务器。 * 步骤:(1)默认已经创建了黑名单文件(blacklist),并配置好了黑名单文件路径。若没有请参见 1.添加白名单、黑名单 (2)将需要退役的服务器主机名称写入 blacklist。 (3)刷新 NameNode 节点。命令 (4)节点成功退役后,剩余节点可能存在数据不均衡的情况,此时可以考虑执行数据均衡命令。 * 退役流程:(1)退役节点的状态为 decommission in progress(退役中)。此时,退役节点正在复制它的数据块到其他节点上。 (2)退役节点的状态为 decommissioned(所有数据块都复制完成),停止该节点及节点资源管理器。
|
|
|
上一篇文章 下一篇文章 查看所有文章 |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
360图书馆 购物 三丰科技 阅读网 日历 万年历 2025年1日历 | -2025/1/18 21:03:56- |
|
网站联系: qq:121756557 email:121756557@qq.com IT数码 |