IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> Hadoop 运行环境搭建(从安装及克隆虚拟机开始......) -> 正文阅读

[大数据]Hadoop 运行环境搭建(从安装及克隆虚拟机开始......)

一、CentOS7 软硬件安装及配置

安装可以参考:VMware15 与 CentOS7 的安装及配置(部分配置参考下面)

部分配置参考:
这里配置需要看一下自己电脑的内核情况:任务管理器 -> 性能 -> 打开资源监视器 -> CPU
在这里插入图片描述
我的电脑现在是有8个CPU
在这里插入图片描述
由于之后学习过程中打算克隆三台虚拟机,再加上本机,就是四台,8个CPU,每台2个,每个处理器数量是2,所以每个处理器的内核数量为1(根据自己电脑的情况配置)
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
手动分区情况:
在这里插入图片描述

配置IP及主机名

配置VM的IP地址:
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
配置Win10的IP:
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
配置hadoop的IP:
在这里插入图片描述
在这里插入图片描述
修改主机名称:
在这里插入图片描述
在这里插入图片描述
配置Linux克隆机主机名称映射hosts文件:
在这里插入图片描述
为了后期学习需要多配置了几个
在这里插入图片描述
重启虚拟机
在这里插入图片描述
检查配置是否成功:
在这里插入图片描述

二、Xshell远程连接Linux

可以参考之前的博客:https://blog.csdn.net/zeroheitao/article/details/113943734

Xshell 下载官网:https://www.netsarang.com/zh/xshell/(一定要用最新版,以前的用不了了)
Xftp下载官网:https://www.netsarang.com/zh/xftp/(用于Win10和Linux之间的文件传输)
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
成功登录
在这里插入图片描述
修改windows的主机映射文件(hosts文件)
进入C:\Windows\System32\drivers\etc路径,拷贝hosts文件到桌面,打开桌面hosts文件并添加如下内容
在这里插入图片描述
将桌面hosts文件覆盖C:\Windows\System32\drivers\etc路径hosts文件

三、模板虚拟机环境准备

安装epel-release

[root@hadoop100 ~]# yum install -y epel-release

注:Extra Packages for Enterprise Linux是为“红帽系”的操作系统提供额外的软件包,适用于RHEL、CentOS和Scientific Linux。相当于是一个软件仓库,大多数rpm包在官方 repository 中是找不到的)

在这里插入图片描述
在这里插入图片描述

注意:如果Linux安装的是最小系统版,还需要安装如下工具;如果安装的是Linux桌面标准版,不需要执行如下操作
1、net-tool:工具包集合,包含ifconfig等命令
[root@hadoop100 ~]# yum install -y net-tools
2、vim:编辑器
[root@hadoop100 ~]# yum install -y vim

关闭防火墙,关闭防火墙开机自启

[root@hadoop100 ~]# systemctl stop firewalld
[root@hadoop100 ~]# systemctl disable firewalld.service

在企业开发时,通常单个服务器的防火墙时关闭的。公司整体对外会设置非常安全的防火墙

在这里插入图片描述
卸载虚拟机自带的JDK

[root@hadoop100 ~]# rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps 

rpm -qa:查询所安装的所有rpm软件包
grep -i:忽略大小写
xargs -n1:表示每次只传递一个参数
rpm -e –nodeps:强制卸载软件

因为我安装的是自带桌面的,系统会自带jdk,如果你的虚拟机是最小化安装不需要执行这一步。
在这里插入图片描述

重启虚拟机

[root@hadoop100 ~]# reboot

四、克隆虚拟机

克隆虚拟机前一定要关机!!!
在这里插入图片描述
在这里插入图片描述
叫什么名字 放哪里看你自己了
在这里插入图片描述
在这里插入图片描述
修改克隆机IP,以下以hadoop102举例说明
修改克隆虚拟机的静态IP

[root@hadoop100 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33

在这里插入图片描述
在这里插入图片描述
修改克隆虚拟机的名称

[root@hadoop100 ~]# vim /etc/hostname

在这里插入图片描述
在这里插入图片描述
重启虚拟机
在这里插入图片描述

五、先在一台虚拟机上安装配置 JDK 和 Hadoop

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

安装配置 JDK

解压JDK到/opt/module目录下:

[root@hadoop102 software]$ tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/

在这里插入图片描述
配置JDK环境变量:
(1)新建/etc/profile.d/my_env.sh文件

[root@hadoop102 ~]$ sudo vim /etc/profile.d/my_env.sh

添加如下内容

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

(2)source一下/etc/profile文件,让新的环境变量PATH生效

[root@hadoop102 ~]$ source /etc/profile

测试JDK是否安装成功

[root@hadoop102 ~]$ java -version

如果能看到以下结果,则代表Java安装成功。
在这里插入图片描述

安装配置 Hadoop

进入到Hadoop安装包路径下

[root@hadoop102 ~]$ cd /opt/software/

解压安装文件到/opt/module下面

[root@hadoop102 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

查看是否解压成功

[root@hadoop102 software]$ ls /opt/module/
hadoop-3.1.3

将Hadoop添加到环境变量
(1)获取Hadoop安装路径

[root@hadoop102 hadoop-3.1.3]$ pwd
/opt/module/hadoop-3.1.3

(2)打开/etc/profile.d/my_env.sh文件

[root@hadoop102 hadoop-3.1.3]$ sudo vim /etc/profile.d/my_env.sh

在my_env.sh文件末尾添加如下内容:(shift+g)

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

在这里插入图片描述
(3)让修改后的文件生效

[root@hadoop102 hadoop-3.1.3]$ source /etc/profile

测试是否安装成功

[root@hadoop102 hadoop-3.1.3]$ hadoop version

在这里插入图片描述

六、拷贝 JDK 和 Hadoop 到其他虚拟机

前提:在hadoop102、hadoop103、hadoop104都已经创建好的/opt/module、 /opt/software两个目录,并且已经把这两个目录的所有者修改为gyl:gyl(gyl是用户名,自己取的)[root@hadoop102 ~]$ sudo chown gyl:gyl -R /opt/module
在这里插入图片描述

在hadoop102上,将hadoop102中/opt/module/jdk1.8.0_212目录拷贝到hadoop103上

[root@hadoop102 ~]# scp -r /opt/module/jdk1.8.0_212  gyl@hadoop103:/opt/module

在这里插入图片描述

快慢看电脑配置吧 佛了已经… …

在这里插入图片描述
成功拷贝
在这里插入图片描述
在hadoop103上,将hadoop102中/opt/module/hadoop-3.1.3目录拷贝到hadoop103上

[root@hadoop103 module]# scp -r gyl@hadoop102:/opt/module/hadoop-3.1.3 ./

在这里插入图片描述
在这里插入图片描述

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2021-10-02 14:56:25  更:2021-10-02 14:56:30 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/23 23:06:04-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码