[大数据]Ubuntu安装Hadoop，添加新的DataNode结点

0. 前置

当新的DataNode结点进入系统时，需安装Hadoop系统。

注意新创建的结点的用户名，需与其它结点相同（即集群中所有机器系统中用户名均一致），方便秘钥分发。

参见：Ubuntu安装Hadoop，并使用Python3调用https://blog.csdn.net/weixin_40901068/article/details/121883498?spm=1001.2014.3001.5501

1. 配置网络

首先，需确保新节点IP地址，与所有的现存集群中的计算机能够ping通。

以下1-4步骤均在namenode机器中完成。

在namenode上编辑网络配置表。

sudo vim /etc/hosts  # 使用vim编辑网络配置表

在namenode网络配置表中添加：

新增第一台虚拟机的IP地址  datanodeN0
新增第二台虚拟机的IP地址  datanodeN1
新增第三台虚拟机的IP地址  datanodeN2
......

?2.添加worker

在namenode所在节点上，打开workers文件并编辑。

cd /usr/local/hadoop/etc/hadoop  # 切换至hadoop安装目录下的etc/hadoop
vim workers  # 编辑workers文件

编辑 workers（有几个datanode就写几个）：

datanodeN0
datanodeN1
datanodeN2

3. 分发秘钥

分发秘钥给新添加的结点（注意不要更新秘钥，只是分发）

scp /home/username/.ssh/authorized_keys  username@datanodeN0:~/.ssh/  # 分发秘钥给datanodeN0
scp /home/username/.ssh/authorized_keys  username@datanodeN1:~/.ssh/  # 分发秘钥给datanodeN1
scp /home/username/.ssh/authorized_keys  username@datanodeN2:~/.ssh/  # 分发秘钥给datanodeN2

在分发时可能会输入密码，请输入新增机器的用户密码。

输入ssh可验证针对某一台的秘钥分发是否成功。

ssh datanodeN0 # ssh登录datanodeN0

若无需密码即登录成功，证明秘钥分发已成功完成。

输入exit退出ssh：

exit # ssh登录后都需要退出操作

4. 启动新节点系统

切换至hadoop安装路径：

cd /usr/local/hadoop

执行下述命令，启动新节点：

sbin/hadoop-daemon.sh start datanodeN0 # 启动N0结点
sbin/hadoop-daemon.sh start datanodeN1 # 启动N1结点
sbin/hadoop-daemon.sh start datanodeN2 # 启动N2结点