IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> mac下搭建hadoop完全分布式集群 -> 正文阅读

[大数据]mac下搭建hadoop完全分布式集群

环境要求:

  • MacOS Big Sur 11.5.2
  • Parallel Desktop 17 Pro Edition
  • FinalShell

具体步骤:

1.PD 下载 unbuntu linux 安装,安装完毕后进入终端
2.进行 hostname 的设置(永久更改主机名的方式):
sudo gedit /etc/hostname 打开文件后进行修改,改为 hadoop01 确保防火墙关闭:
sudo ufw status
如果是 inactive 说明关闭,如果不是则 sudo ufw disable 进行关闭。 3.解压 jdk 安装
sudo su 进入 root 模式

找到你本机下载的?jdk 包所在的位置,copy 其路径名,cd 路径名
mv jdk-8u152-linux-x64.tar.gz /usr/local/java, 若没有则需先创建。

tar -zxvf jdk-8u152-linux-x64.tar.gz 进行解压 sudo gedit /etc/profile 配置环境变量

export JAVA_HOME=/usr/local/java/jdk1.8.0_152

export PATH=$PATH:$JAVA_HOME/bin: 改完后保存退出,执行 source /etc/profile,在终端 java -version 能看到

说明成功。
4.克隆镜像生成 hadoop02/hadoop03,重复步骤 2 进行主机名修改和关闭防火墙。 克隆的办法是在 PD 的控制中心点击一个镜像然后右键克隆即可,主机名修改完成后,将三台虚拟机全部重启完成重置。

5.配置 SSH 免密登陆
1)在三台虚拟机上分别运行 ifconfig 记录其 ip address

Hadoop01: 192.168.31.6

Hadoop02:192.168.31.4

Hadoop03:192.168.31.5

2)hadoop01 的终端:
sudo gedit /etc/hosts 添加三台机器的 ip 地址和主机名:

192.168.31.6 hadoop01

192.168.31.4 hadoop02

192.168.31.5 hadoop03

保存后退出。
3)ping hadoop02,注意要打开 hadoop02 的虚拟机。若通了则说明成功。

4)sudo apt-get install openssh-server 安装 ssh 等一系列服务,若有则跳过,完成 后

sudo service ssh start 开启服务
5)ssh-keygen -t rsa 生成密码密钥对
6)cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 将生成的公钥加入根目录 7)编辑公钥权限:

chmod 600 authorized_keys ~/.ssh/authorized_keys

chmod 700 ~/.ssh
8)将 hadoop01 上的公钥分发给 hadoop01/hadoop02/hadoop03

ssh-copy-id parallels@hadoop01

ssh-copy-id parallels@hadoop02

ssh-copy-id parallels@hadoop03

注:然后在 hadoop02 上面进到 home/parallels 目录下的.ssh 目录,用 root 用户 执行:
cat authorized_keys >>/root/.ssh/authorized_keys

9)在 hadoop01 分别运行 ssh hadoop01
ssh hadoop02
ssh hadoop03

,若出现下面则通了

6.安装 hadoop
1)进入压缩包的路径
mv hadoop-2.7.6.tar.gz /usr/local/hadoop, 若没有则需先创建。 2)tar -zxvf hadoop-2.7.6.tar.gz 进行解压
3)创建目录

?4 ) 修改配置文件
进入/usr/local/hadoop/hadoop-2.7.6/etc/hadoop,
sudo gedit hadoop-env.sh 修改 java 安装路径
sudo gedit yarn-env.sh 修改 java 安装路径为/usr/local/java/jdk1.8.5_152
sudo gedit slaves 将 hadoop01,hadoop02,hadoop03 添加进去,注意一行一个

sudo gedit core-site.xml 修改 1.hadoop.tmp.dir 为/usr/local/hadoop/hadoop- 2.7.6/tmp;2.hadoop.proxyuser.root.hosts 中将 root 改为虚拟机的登录名(我的是 parallels)
sudo gedit hdfs-site.xml 修改 1.dfs.namenode.name.dir 部分为 /usr/local/hadoop/hadoop-2.7.6/dfs/name;2.data 的目录为/usr/local/hadoop/hadoop- 2.7.6/dfs/data
还有 mapred-site.xml,yarn-site.xml 这两个可以跟模版一致即可。
5) 通过 ssh 传输 hadoop 到 hadoop02/hadoop03
scp -r /usr/local/hadoop root@hadoop02:~/
scp -r /usr/local/hadoop root@hadoop03:~/
打开 hadoop02,hadoop03 将文件放到相同的目录下。默认传输过来是在 Home/Parallels 下。
6)sudo gedit /etc/profile 配置环境变量

export HADOOP_HOME=/usr/local/hadoop/hadoop-2.7.6
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOM E/sbin

改完后保存退出,执行 source /etc/profile,在终端 hadoop -version 能看到

sudo gedit ~/.bashrc 最后增加一行: source /etc/profile 保证每次启动时环境变 量自动生效。

7.启动 Hadoop
在 hadoop01 上 root 用户启动

hadoop namenode -format

start-all.sh
8. hadoop01 终端 jps 查看进程:

?

再启动历史服务:

mr-jobhistory-daemon.sh start historyserver

9.启动成功,打开 hadoop01 ip 地址的网页:

http://192.168.31.6:50070??namenode 端口

http://192.168.31.6:50090??secondarynamenode 端口

http://192.168.31.6:8088??resourcemanager 端口

http://192.168.31.6:19888??historyserver 端口

参考:

https://blog.csdn.net/baolibin528/article/details/43375231

https://blog.csdn.net/wk51920/article/details/51686038

?

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2021-08-29 09:09:56  更:2021-08-29 09:26:10 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/23 16:30:36-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码