centos下运行hadoop自带的wordcount实例
我的版本:Centos7;JDK1.8.0;Hadoop2.8.0
一、步骤
1.启动hadoop及yarn功能组件,查看jps进程数
代码如下:
start-dfs.sh
start-yarn.sh
部分命令图片示例:
yarn主要功能是向ResourceManager申请计算资源并和NodeManager交互来执行和监控具体的task
2.在虚拟机本地创建文本文件
vim编辑文本内容,我是在根目录创建的
vim name.txt
示例:
3.在hdfs中创建目录并将上一步创建的文本文件上传到hdfs中
代码如下(示例):
hdfs dfs -mkdir /hh_input
hdfs dfs -put ~/name.txt /hh_input
查看是否上传成功
方法1 方法2
4.运行hadoop自带jar包的wordcount实例
注意划荧光笔处填自己的版本号,红线处分别为输入处理的目录和输出目录 输出目录不需要自己手动创建
代码如下,显示successfully即运行成功
hadoop jar ./hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.0.jar wordcount /hh_input /hh_output
5.查看
荧光笔处是输出目录,wordcount实例处理后的结果存放在此
查看输出文件内容
|