| |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
-> 大数据 -> 安装centOS 7、JDK、Hadoop以及ssh免密登入操作 -> 正文阅读 |
|
[大数据]安装centOS 7、JDK、Hadoop以及ssh免密登入操作 |
任务一安装centOS 7配置网络任务二Ssh免密操作安装JDK和hadoop废话不多说直接开始了 需准备软件如下: VMware 14.X以上的版本,官网下也可以,也可以用百度网盘链接 下载链接:https://pan.baidu.com/s/1BWA55zt7TvLU9AjxNqKhrg,提取码:123l Xshell和xftp,都可以在官网下载 Eclipse直接在官网下Linux系统版本 任务一 安装好VMware后开始centOS 7的安装,进入如图所示的界面后点击“创建新的虚拟机”然后点“典型推荐”,完成后点下一步 好好看截图 小提示: 在进行这一步之前请务必记住centOS 7所在的文件夹,并且文件夹不可有中文。 点击浏览将centOS文件放进去。 ? 点下一步,然后先在某个盘下(最好是跟vmware一个盘)新建一个文件并在该目录下创建一个装新建虚拟机的文件夹,如图所示: 然后看图可知,我们要给虚拟机取名字,随便取一个就行。然后点“浏览”找到上一步新建的装虚拟机的文件夹,把虚拟机放到这里面去,如图所示的路径。 ? 继续下一步,磁盘大小20G足够了,注意要点“将虚拟机磁盘拆分成多个文件”选项。 点“自定义硬件” ? 内存可以设置大一点方便后面虚拟机的运行,当然也可以默认。 处理器看自己电脑来,也可以默认。 弄完点关闭后再直接点完成即可。 ?点了“完成”以后虚拟机自动启动了,出现了如图所示界面,点“Install CentOS 7” 选择中文,然后继续 ? ?时间选如图所示时间,软件选择安装建议装有桌面的,不然后面用指令安装图形界面很麻烦。 ? ?点软件选择进入如图所示界面,选如图所示的“GNOME桌面”,附加项可以不选。 ? 安装位置选“自动分区”如图所示: ? ? ?点“网络和主机名称” ? ?打开以太网,设置主机名然后点击“应用”(一定要点,还要记住自己主机名字),然后点“完成” ?弄好这些然后点“开始安装”,安装需要一会时间,慢慢等。 在centOS安装的时候把root密码和用户建立一下,切记一定要记住密码和用户名,后面有用,密码简单点,用户名名和root免密最好一致以免后面记混淆,密码太简单点两次完成就可以退出当前界面。 ? ?遇到这个三角形加感叹号提示的直接点进去 ? ?然后点“我同意许可协议”再点完成 ? 出来了点“完成配置”就可以继续安装了。 点“重启”重新启动虚拟机 ? 出现这个代表着centOS 7安装完成了,点这个用户输入密码进入图形界面。 ? ?确认所选没问题,就一路点前进 ? 这就是图形桌面 ? ? 下面来配置网络 点击右键选中“打开终端”选项,进入终端后输入如图所示指令。 ? ? 我们的权限并不高,所有我们来弄一个提高权限操作 输入指令:vi /etc/sudoers,找的root所在的那一行,然后在下边添加(添加内容要按i)一行内容为:hadoop ?ALL=(root) ?NOPASSWD:ALL,注意:hadoop为主机名。如图所示: 然后按Esc键+:+wq!为保存退出操作 切换到hadoop用户,指令:su hadoop 来验证一下权限,发现cd /root权限很低,但是sudo cd /root却可以。 开始配置网络了,注意啦! ?首先点击VMware的编辑点开“虚拟网络编辑器” 然后点“VMnet8”再点“NAT”设置查看IP地址等相关信息 ? ?然后记住如图所示信息,截个图就行。 在终端输入指令:sudo vi /etc/sysconfig/network-scripts/ifcfg-ens33 修改如图所示内容,将BOOTPROTO后面的内容改成"static" 添加内容有: IPADDR= NETMASK= GATEWAY DNS1= DNS2= 在等号后面填入你的ip地址与你的子网ip不同,子网掩码和网关要和刚刚查看NAT设置截图的一致,一定要保存,命令是:Esc+:+wq! ?用指令:ping www.baidu.com看能不能ping通,ping通了说明连到网络了,因为我的是校园网所有ping不到外网,但是不影响后面操作。 ?重启一下网络,指令:sudo service netwoek restart,再ping一次 ?然后使用指令:ip a查看一下新ip,我这个新ip是:192.168.137.15 ? 下载一个vim包,遇到(y/n)输入y就行,指令如图所示: 下面做一个虚拟机与主机的映射操作 指令:sudo ?vim ?/etc/hosts,将文件里的前两行注释掉,注释符号为“#”,在添加圈出内容,即ip地址+主机名 ? 任务二 ssh免密登入操作 输入命令:ssh-keygen -t rsa,然后按三次回车 ? ?查看ssh生成文件 ? Pub表示公开,我们要把公开信息写入一个文件里authorized_keys 命令:cat id_rsa.pub >> authorized_keys,其中两个大于号的意思表示追加,使内容不重复。 ?再输入命令:sudo ?chmod ?600 ?~/.ssh/authorized_keys 测试一下SSH免密登入操作是否成功,命令:ssh hadoop@hadoop000,从图片可看出我们的免密操作时成功了的。 ?因为虚拟机窗口不可以往上滑动,下面我们切换到xshell,在这里还要弄个东西,windows系统与虚拟机的映射,打开如图所示的文件目录下的hosts文件。注:C盘下的Windows文件---->System32---->drivers---->etc---->hosts,用你电脑上可以编辑代码的软件打开。 ? ?添加图中点中所示的内容,即ip+虚拟机主机名,然后保存该文件 ? 按win+r输入cmd,在doc系统里输入:ping ?hadoop000,表明映射成功。 在xshell中输入命令:ssh hadoop@hadoop000,弹出如图所示内容,点击“接受并保存”然后输入密码即可。 如图所示为连接成功 ? 注意这里要进行关闭防火墙操作,命令如圈出内容所示 Sudo sysremctl stop firewalld.service 表示关闭防火墙 Sudo systemctl disable firewalld.service 不让防火墙运行 Sudo systemctl disable firewalld.service 查看防火墙状态,看到如图圈出的dead单词说明关闭成功 ? 安装JDK和hadoop 需要的安装包有:JDK安装和hadoop安装包 JDK链接:百度网盘 请输入提取码https://pan.baidu.com/s/1IGXbauo5YSgcjxddohDTdA 提取码:1234 Hadoop链接:百度网盘 请输入提取码https://pan.baidu.com/s/1hZ7Asw97ICdwjUHnU6JiXg 提取码:1234 现在虚拟机里建立一个文件夹 命令:mkdir softwares ? 通过Xftp与虚拟机连接后进入到安装包所在文件目录,将安装包传送到softwares文件。如图所示直接将安装包拖过去就行。 ? ?输入如图所示命令(先cd softwares再ll),查看softwares文件目录的东西 ? ?在新建一个文件夹(我的叫app),用来存放解压后安装的软件 ? 进入到softwares文件目录下,然后开始解压JDK和hadoop,可以一个接一个的解压。 命令:tar ?-zxvf ?jdk-8u144-linux-x64.tar.gz ?-C ?~/app tar ?-zxvf ?hadoop-2.6.0.tar.gz ?-C ?~/app 在xshell里可以直接在softwares目录下复制文件名。 ?进入app文件夹查看解压情况,从图中可以看到两个安装包都解压成功。 ?查看jdk ?输入命令:vim ?~/.bash_profile,配置JDK和hadoop路径。 ?添加内容如图内容所示,注意这一步内容千万不要错,文件路径可以在Xftp里面看到。 ?输入指令:source ~/.bash_profile和java查看java信息 ? ? 使用命令:cd ?~/app/hadoop-2.6.0/etc/hadoop/和ll查看hadoop文件 开始修改文件啦,注意不要打错内容。 第一个文件,输入命令:vim hadoop-env.sh,添加内容如圈出内容所示,将JDK路径写死,然后按Esc+:+wq!保存退出。 ? 第二个文件,命令:vim core-site.xml,添加如下内容 <configuration> ??<property> ????<name>fs.defaultFS</name> ????<value>hdfs://hadoop000:8020</value> ??</property> ??<property> ????<name>hadoop.tmp.dir</name> ????<value>/home/hadoop/app/tmp</value> ??</property> </configuration> ? ?保存退出就行了。 第三个文件,命令:vim hdfs-site.xml 添加内容: <configuration> ??<property> ????<name>dfs.replication</name> ????<value>1</value> ??</property> ??<property> ????<name>dfs.permissions</name> ????<value>false</value> ??</property> </configuration> 如图所示 ? 第四个文件,一开始MapReduce文件是没有的,但是官方提供了模板,我们直接copy过去。 命令:cp mapred-site.xml.template mapred-site.xml,copy完成后输入命令:vim mapred-site.xml打开这个文件并在里面添加如下内容: <configuration> ??<property> ????<name>mapreduce.framework.name</name> ????<value>yarn</value> ??</property> </configuration> 图示内容如下: 第五个文件,命令:vim yarn-site.xml 添加内容为: <configuration> ??<property> ????<name>yarn.resourcemanager.hostname</name> ????<value>hadoop000</value> ??</property> ??<property> ????<name>yarn.nodemanager.aux-services</name> ????<value>mapreduce_shuffle</value> ??</property> </configuration> 图片所示: ? 文件修改为就来进行格式化,注意格式化只能进行一次,出错需删掉tmp文件重新来。 命令:hdfs ?namenode ?-format 看到这一句话说明格式化成功 ?进行下面一系列操作,做这些都是为了启动HDFS,启动和关闭都需要一些时间慢慢等: ? ? 输入命令:jps检测启动是否成功,成功如图所示: ? ?关闭命令:stop-all.sh ? 测试 关闭电脑防火墙,打开浏览器,输入:http://hadoop000:50070,得到如图所示界面(因为我有现成截图就没有再截新的了,反正换汤不换药,效果一样,大家不要忘记自己的主机名就行) ? ?查看share文件: ?然后打开里面的hadoop文件再打开mapreduce文件,看到hadoop-mapreduce-examples-2.6.0.jar ?回到根目录下创建一个叫data的文件,命令:mkdir data ?最后进入一个word.txt的文件来测试,命令:vim word.txt 内容随便输入。 把word.txt上传到input文件里,进行下面的指令操作文件 hadoop fs -mkdir /input??#创建input文件 hadoop fs -put word.txt /input/word.txt??#把word.txt上传到HDFS文件系统上 hadoop fs -text word.txt /input/word.txt??#查看该文件,把-text改成-cat效果一样 ? ? ?在网页中可以看到input文件,看到可以看到word.txt文件,点击他可以查看相关信息 ? ? ? ? ?最后再打开mapreduce文件。输入:cd? ~/app/hadoop-2.6.0/share/hadoop/---->ll---->cd mapreduce/---->ll---->hadoop jar hadoop-mapreduce-examples-2.6.0.jar ?用wordcount统计字符,命令如图圈出所示 然后输入命令:hadoop fs -ls? /output,可以看到一个SUCCESS单词,说明统计成功。 输入命令:hadoop fs -text? /output/part-r-0000,可以清楚的知道word.txt的单词数量。 ?好了到这hadoop的安装就算是完成了,祝大家安装顺利。 ?我的学习资料视频链接:CENTOS7下的HADOOP伪分布式安装教程https://www.bilibili.com/video/BV1sE41197mi?spm_id_from=333.999.0.0 |
|
|
上一篇文章 下一篇文章 查看所有文章 |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 | -2024/11/24 3:09:26- |
|
网站联系: qq:121756557 email:121756557@qq.com IT数码 |