Hadoop系列——Hadoop练手、压测day2-2
Hadoop练手
Hadoop HDFS简单使用
Hadoop本质上就是一个文件系统，所以他是有目录树的，可以分目录，主要用于对大文件进行处理
创建文件夹（目录）
命令式
语法：
hadoop fs -mkdir 文件夹名称
例子：
hadoop fs -mkdir /test
UI界面
上传文件
命令式
语法：
hadoop fs -put 文件名称 文件夹名称
例子:
hadoop fs -put hello.txt /test
可以看到已经上传上去了
UI界面
Hadoop MapReduce简单使用
MapReduce本质上是个程序
由于yarn管理程序执行的运算资源，所以MapReduce需要首先对yarn进行访问
适合处理大数据场景
MapReduce
测试计算圆周率
//进入mapreduce案例目录
cd /export/server/hadoop-3.3.4/share/hadoop/mapreduce
//运行jar包
hadoop jar hadoop-mapreduce-examples-3.3.4.jar pi 2 4
你应该看到如下的显示：
执行完后我们在监视页（端口:8088,如：http://node1:8088/cluster）也可以看到
词频统计
我们创建一个txt文件插入如下内容：
中国共产党第二十次全国代表大会新闻发言人定于2022年10月15日（星期六）下午在人民大会堂举行新闻发布会。新闻发布会在北京新世纪日航饭店三层世纪厅设分会场，记者在分会场参会。欢迎各位记者报名参加。
境内记者接待组
电话：68356200、68356300
传真：68356700、68356800
港澳台记者接待组
电话：68350700、68350800
传真：68350900、68351900
外国记者接待组
电话：68350100、68350200
传真：68350400、68350500
外国记者需通过后附小程序报名。
然后上传到hadoop上
hadoop fs -put word.txt /test/wordcount/input
hadoop jar hadoop-mapreduce-examples-3.3.4.jar wordcount /test/wordcount/input /test/wordcount/output
执行成功后我们可以看到
我们将文件进行下载：
文件内容如下：
可以发现统计的话是按照一行一行进行计算统计的
我们可以稍微修改一下word.txt再此尝试
我们将电话和传真都改成一样之后发现
（注意如果重新测试需要删除原始输出目录或更换原始输出目录）
统计没有问题
Hadoop压测
测试写入速度
我们会用到hadoop-mapreduce-client-jobclient-3.3.4-tests.jarjar包在我们的/export/server/hadoop-3.3.4/share/hadoop/mapreduce目录下
语法
//向HDFS文件系统中写入数据,10个文件,每个文件10MB
//文件存放到/benchmarks/TestDFSIO中
hadoop jar hadoop-mapreduce-client-jobclient-3.3.4-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 10MB
- Throughput∶吞吐量
- Average IO rate:平均IO率
- IO rate std deviation : IO率标准偏差
执行结果如下：
测试读取速度
//向HDFS文件系统中读取数据,10个文件,每个文件10MB
hadoop jar hadoop-mapreduce-client-jobclient-3.3.4-tests.jar TestDFSIO -read -nrFiles 10 -fileSize 10MB
删除测试数据
测试数据如下
在根目录下的/benchmarks/TestDFSIO中
接下来用以下命令进行清除
hadoop jar hadoop-mapreduce-client-jobclient-3.3.4-tests.jar TestDFSIO -clean