IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> 运行简单的mapreduce计算 -> 正文阅读

[大数据]运行简单的mapreduce计算

在$HADOOP_HOME下有个jar包,叫 hadoop-examples-1.1.2.jar,见图1.1,这里面含有框架提供的很多例子,我们现在学习一下如何运行其中的例子wordcount。
在这里插入图片描述

图1.1

执行如下命令:
hadoop jar hadoop-examples-1.1.2.jar
可以看到图 1.2 的输出信息,可以看到 18 个输出信息,都是内置的例子程序。我们选择最后一个“word count”来运行,该程序的说明在最后是统计文件中单词的出现次数的。
在这里插入图片描述

图1.2

如何执行这个程序呢?见图 1.3,命令如下
hadoop jar hadoop-examples-1.1.2.jar wordcount
在这里插入图片描述

图1.3

根据用法,我们需要补全 wordcount 的文件输入路径和文件输出路径。我们首先上传一个文件到 hdfs 中,见图 1.4。那么输入文件的路径就是/URL了。
在这里插入图片描述

图1.4

这时候我们再运行 wordcount 例子,具体见图1.5,命令如下
hadoop jar hadoop-examples-1.1.2.jar wordcount /URL /wordcount
在这里插入图片描述

图1.5
等到命令执行结束,运行的结果就会存在输出路径的文件夹中,文件名称叫做“part-r-00000”,我们使用命令查看输出内容,如图 1.6 所示。
在这里插入图片描述

图1.6
显示结果是按照字符的字段顺序排列的,每一行显示字符及出现次数。这样一来我们看到的就是 hadoop 的 MapReduce 做的事情了。
通过一个简单的命令,就可以把文件中的单词统计一遍出现次数,还是很有意思的。以后我们需要自己编程实现相关的功能。

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2021-11-09 19:37:22  更:2021-11-09 19:38:28 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/24 4:38:58-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码