IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> 在已有hadoop集群基础上copy-Hadoop集群 -> 正文阅读

[大数据]在已有hadoop集群基础上copy-Hadoop集群

条件:1.利用xhell连接虚拟机,进行文件传输和环境的搭建;共需 6 个节点

首先更改集群二的用户名

[root@localhost ~]# hostnamectl set-hostname dsw01
[root@localhost ~]# exit
#重复更改三台,重新连接虚拟机,名字就改好了

对集群二的hosts和hostname文件进行修改

vim /etc/hosts  #集群二3个节点的ip和用户名 
例:10.10.10.10 hostname01
	   10.10.10.11 hostname02
	   10.10.10.12 hostname03
vim /etc/hostname #写入每个节点的用户名

步骤正式开始

1.打包 集群1 第一个节点的Hadoop文件夹(这里以我的目录作为演示)

1)压缩/opt/文件夹到根目录下的software文件夹里

tar -zcvf 打包后生成的文件名全路径 要打包的目录

2)将刚刚的压缩包拖拽到本地目录,再将其上传到 集群2 的第一个节点(dsw01)的 /software 文件夹,运行解压命令

tar -zxvf /software/opt.tar.gz /

2、接下来就是对配置文件的修改

1)执行vim /etc/profile命令,直接复制集群1的配置内容到新的节点

直接复制集群1的配置内容到新的节点
执行source /etc/profile 命令 刷新环境变量

#测试jdk是否安装成功
[root@localhost software]# java -version
[root@localhost software]# java
[root@localhost software]# javac

#将配置好的jdk远程发送给其他两个虚拟机。
[root@localhost opt]# scp -r /opt/jdk1.8.0_181 root@192.168.8.191:/opt/
#将其他两台虚拟机的环境变量配置一下:
[root@localhost opt]# scp /etc/profile root@192.168.8.192:/etc/
#刷新环境变量

2)配置ssh免密登录(有时间我会再写一篇专门的文章,并将链接放在这)

3)进入以下路径,做一些配置修改 hadoop-2.7.6/etc/hadoop/

[root@hd01 opt]# cd /opt/hadoop-2.7.6/etc/hadoop/
[root@hd01 hadoop]# ll
#编辑hadoop-env.sh  配置自己jdk路径
[root@hd01 hadoop]# vim hadoop-env.sh

在这里插入图片描述

#	编辑core-site.xml ,配置ip,端口,读取文件缓冲大小
编辑hdfs-site.xml,配置副本数等
修改mapred-site.xml.template文件名字
[root@hd01 hadoop]# cp mapred-site.xml.template mapred-site.xml
编辑mapred-site.xml,配置框架名字,历史记录组件等
[root@hd01 hadoop]# vim mapred-site.xml
编辑yarn-site.xml ,配置resourcemanager的相关信息
编辑slaves, 将三台虚拟机的主机名添加进去

在这里插入图片描述
将配置好的hadoop-2.7.6 发送给其他节点

4)19. 在第一台虚拟机格式化 namenode

[root@hd01 hadoop]# hadoop namenode -format
#启动hadoop服务(在第一台虚拟机启动服务)
[root@hd01 hadoop]# start-all.sh

#关闭三台虚拟机的防火墙和 windows的防火墙。
[root@hd01 hadoop]# systemctl stop firewalld
[root@hd01 hadoop]# systemctl disable firewalld

[root@hd02 hadoop]# systemctl stop firewalld
[root@hd02 hadoop]# systemctl disable firewalld

[root@hd03 hadoop]# systemctl stop firewalld
[root@hd03 hadoop]# systemctl disable firewalld


修改文件夹下所有文件的权限

sudo chmod -R 777 filename
到此,Hadoop就搭建好了

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2021-11-25 08:11:03  更:2021-11-25 08:12:46 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/24 7:40:01-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码