[大数据] 4.hadoop学习配置历史服务器

开发: C++知识库 Java知识库 JavaScript Python PHP知识库人工智能区块链大数据移动开发嵌入式开发工具数据结构与算法开发测试游戏开发网络协议系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑笔记本显卡显示器固态硬盘硬盘耳机手机 iphone vivo oppo 小米华为单反装机图拉丁

-> 大数据 -> 4.hadoop学习配置历史服务器 -> 正文阅读

[大数据]4.hadoop学习配置历史服务器

1.配置mapred-site.xml

vim /opt/model/hadoop-3.1.3/etc/hadoop/mapred-site.xml

在该文件中增加如下配置

<!-- 历史服务器端地址 -->
<property>
	 <name>mapreduce.jobhistory.address</name>
	 <value>192.168.10.51:10020</value>
</property>
<!-- 历史服务器 web 端地址 -->
<property>
 	<name>mapreduce.jobhistory.webapp.address</name>
	<value>192.168.10.51:19888</value>
</property>

配置完之后分发到个个服务器

xsync mapred-site.xml

在这里插入图片描述

2.关闭yarn

stop-yarn.sh    #关闭yarn
start-yarn.sh   #启动yarn

3.启动历史服务器

mapred --daemon start historyserver
jps			#查看

mapred是在hadoop中bin目录下的
在这里插入图片描述

4.查看jobHistory

http://192.168.10.51:19888/jobhistory

5.测试

在hdfs上上传一个文件然后在执行计算

#hdfs创建文件   创建一个input文件夹
hadoop fs -mkdir /input  

#把本地的wcinput目录下的word文件上传到hdfs上的iput目录
hadoop fs -put wcinput/word.txt /input 

#执行jar方法
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

然后我们打开http://192.168.10.52:8088/cluster可以看到有个任务在计算执行
在这里插入图片描述
这个执行到一半报这个错

传送门添加链接描述