| |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
-> 大数据 -> 【CentOS7】使用虚拟机搭建Hadoop完全分布式集群多节点的纯净系统 -> 正文阅读 |
|
[大数据]【CentOS7】使用虚拟机搭建Hadoop完全分布式集群多节点的纯净系统 |
笔记:unirithe 日期:11/13/2021 注:本篇博文不涉及Hadoop节点的配置 运行环境
CentOS7 镜像下载 http://mirrors.aliyun.com/centos/7.9.2009/isos/x86_64/CentOS-7-x86_64-DVD-2009.iso 一、创建并配置虚拟机打开VMware 工具,Ctrl + N 新建虚拟机 选择下载好的iso系统镜像,点击下一步 设置虚拟机名称,以hadoop为例 分配40GB的磁盘 在创建后开启此虚拟机处取消打钩,最后点击完成 接下来设置虚拟机硬件配置 根据自身电脑配置,对虚拟机配置进行修改,比如笔者的笔记本配置是16G内存和8核的处理器,所以可以分配如下内存4GB + 处理器2*2 ,之后可以随时修改,只要确保虚拟机配置低于本机即可 设置完毕后,开启此虚拟机,首次进入系统需要进行安装,如下图所示 在虚拟机里按方向键,选择第一个选项,回车 (Tips:Ctrl + Alt + Z 热键可以从虚拟机中弹出鼠标) 二、配置CentOS7系统2.1 设置语言首次进入系统,需要设置语言,选择Chinese后点击继续 2.2 设置GNOME桌面环境点击 2.3 手动配置系统的分区第一个分区/boot ,作为启动系统所占用的空间,文件系统类型为 ext4,容量1G 第二个分区 / ,存放系统运行时的所有文件,文件系统类型为 第三个分区 /swap,容量4G 2.4 配置网络和主机名2.5 创建系统用户和密码创建用户 设置密码 密码较弱的话点击两次完成即可,接着需要等待一段时间,等系统安装基本工具 完成后重启即可 三、配置虚拟机网络3.1 VMware工具修改网络配置首先打开虚拟网络编辑器 修改VMnet8的子网IP,其中的25可以是任意3位数 在NAT设置中,将网关IP的第三个三位数改成与刚刚的子网IP相对应,最后一位固定为2 3.2 配置Windows本机的虚拟机网络打开 控制面板 -> 网络和 Internet -> 网络连接 双击协议版本4,修改其中的IP地址、默认网关和首选DNS服务器,如下图所示,注意25是自定义的值,其他的需固定 3.3 配置 CentOS 7 系统的网络
将
3.4 配置 CentOS7 主机名和域名映射修改主机名为hadoop
修改hosts
添加如下内容:
其中的hadoop101、hadoop102、hadoop103是等会克隆出来的虚拟机 配置完毕后,使用 重启后输入 查看网络是否连接成功 至此,单台虚拟机的IP配置已完成. 附加:XShell 远程操作为什么要使用远程登录? 举例: 在公司开发的时候,具体的应用场景
XShell的安装可以参考 链接,这里只提供基本使用的教学 新建会话,用于连接虚拟机,当然也可以连接远程的服务器 连接首先配置两个参数,一是可自定义的名称,二是和虚拟机对应的主机IP,端口号默认为22。 为方便下次打开,可点击记住用户名、记住密码,若更改了用户可再次修改,无需担心 使用提示:
在左侧栏点击外观,然后选择自己喜欢的配色方案、字体等属性,设置好后点击确定即可 设置完毕后需要重新连接 会话 才有效果,重新开启一个终端只需要双击左侧的主机 四、克隆虚拟机4.1 前期准备克隆前,确保系统可正确使用yum命令,其次是防火墙需关闭,因为在Hadoop完全分布式中,各个节点会经常互相连接访问,它们之间无需防火墙。 其次是创建一个用户,这样保证克隆出的虚拟机都有同一个用户,方便操作。
注:epel全称是Extra Packages for Enteprise Linux 是为红帽系的操作系统提供额外的软件包,相当于软件仓库,因为大多数rpm包在原来官方的repository找不到。
添加 一行内容
注:设置免密,为什么不直接放在root下面? 因为所有用户都属于wheel组,我们配置自己的用户免密登陆,但执行到%wheel那行时,该功能又被覆盖掉了,所以得放在%wheel后面 接着在XShell 更改用户名 4.2 克隆虚拟机克隆虚拟机前需将其关闭
同样的操作再克隆两台,克隆完毕后,逐一配置克隆机的IP和用户(注:同时开启IP会冲突) 以hadoop101为例,配置克隆机的IP
只需修改IPADDR属性,如下图所示,根据主机名hadoop101,将IP最后三位设置为101即可 修改主机名
至此,使用VMware创建的3个Hadoop节点基于CentOS 7系统的纯净环境已完成. |
|
|
上一篇文章 下一篇文章 查看所有文章 |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 | -2024/11/24 5:33:46- |
|
网站联系: qq:121756557 email:121756557@qq.com IT数码 |