Hadoop3.x 项目测试
项目一 : 本地运行模式测试
[atguigu@hadoop102 /]$ cd opt/module/hadoop-3.1.3
[atguigu@hadoop102 hadoop-3.1.3]$ mkdir wcinput
[atguigu@hadoop102 hadoop-3.1.3]$ cd wcinput
[atguigu@hadoop102 wcinput]$ vim word.txt
输入:
------------------------------------------
Hello World !
I'm whiteCat!
I love code !
I love the world!
------------------------------------------
:wq
[atguigu@hadoop102 wcinput]$ cd ..
[atguigu@hadoop102 hadoop-3.1.3]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput/ ./wcoutput
[atguigu@hadoop102 hadoop-3.1.3]$ cd wcoutput/
[atguigu@hadoop102 wcoutput]$ ll
[atguigu@hadoop102 wcoutput]$ cat part-r-00000
注意 : 当创建成功之后再使用bin/hadoop jar …语句会报错, 报错内容如下图所示
项目二 : 集群文件同步测试
① 删除103主机/opt/module/hadoop-3.1.3路径下的wcinput和wcoutput文件夹
[atguigu@hadoop103 hadoop-3.1.3]$ rm -rf /opt/module/hadoop-3.1.3/wcinput/ /opt/module/hadoop-3.1.3/wcoutput/
② 在102主机上同步102主机中的hadoop文件夹到103主机.
[atguigu@hadoop102 module]$ rsync -av /opt/module/hadoop-3.1.3/ atguigu@hadoop103:/opt/module/hadoop-3.1.3/
注意1 : rsync 命令主要用于备份和镜像.
注意2: scp 命令和 rsync 命令的区别在于scp是把所有文件都复制过去,而rsync 只对差异文件做更新.
项目三 : 上传文件到集群测试
① 在102主机上上传小文件到集群
[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -mkdir /wcinput
[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -put $HADOOP_HOME/wcinput/word.txt /wcinput
2022-05-13 22:17:01,989 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false
②在102主机上上传大文件到集群
[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -put /opt/software/jdk-8u212-linux-x64.tar.gz /
2022-05-13 22:19:28,188 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false
2022-05-13 22:19:33,352 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false
[atguigu@hadoop102 subdir0]$ pwd
/opt/module/hadoop-3.1.3/data/dfs/data/current/BP-1330503042-192.168.10.102-1652450143404/current/finalized/subdir0/subdir0
(上述路径是数据的存储位置)
[atguigu@hadoop102 subdir0]$ ll
总用量 191944
-rw-rw-r--. 1 atguigu atguigu 60 5月 13 22:17 blk_1073741825
-rw-rw-r--. 1 atguigu atguigu 11 5月 13 22:17 blk_1073741825_1001.meta
-rw-rw-r--. 1 atguigu atguigu 134217728 5月 13 22:19 blk_1073741826
-rw-rw-r--. 1 atguigu atguigu 1048583 5月 13 22:19 blk_1073741826_1002.meta
-rw-rw-r--. 1 atguigu atguigu 60795424 5月 13 22:19 blk_1073741827
-rw-rw-r--. 1 atguigu atguigu 474975 5月 13 22:19 blk_1073741827_1003.meta
[atguigu@hadoop102 subdir0]$ cat blk_1073741825
Hello World !
I'm whiteCat!
I love code !
I love the world!
[atguigu@hadoop102 subdir0]$ cat blk_1073741826>>tmp.tar.gz
[atguigu@hadoop102 subdir0]$ cat blk_1073741827>>tmp.tar.gz
[atguigu@hadoop102 subdir0]$ ll
总用量 585160
-rw-rw-r--. 1 atguigu atguigu 60 5月 13 22:17 blk_1073741825
-rw-rw-r--. 1 atguigu atguigu 11 5月 13 22:17 blk_1073741825_1001.meta
-rw-rw-r--. 1 atguigu atguigu 134217728 5月 13 22:19 blk_1073741826
-rw-rw-r--. 1 atguigu atguigu 1048583 5月 13 22:19 blk_1073741826_1002.meta
-rw-rw-r--. 1 atguigu atguigu 60795424 5月 13 22:19 blk_1073741827
-rw-rw-r--. 1 atguigu atguigu 474975 5月 13 22:19 blk_1073741827_1003.meta
-rw-rw-r--. 1 atguigu atguigu 195013152 5月 14 00:55 tmp.tar.gz
[atguigu@hadoop102 subdir0]$ tar -zxvf tmp.tar.gz
...
[atguigu@hadoop102 subdir0]$ ll
总用量 585160
-rw-rw-r--. 1 atguigu atguigu 60 5月 13 22:17 blk_1073741825
-rw-rw-r--. 1 atguigu atguigu 11 5月 13 22:17 blk_1073741825_1001.meta
-rw-rw-r--. 1 atguigu atguigu 134217728 5月 13 22:19 blk_1073741826
-rw-rw-r--. 1 atguigu atguigu 1048583 5月 13 22:19 blk_1073741826_1002.meta
-rw-rw-r--. 1 atguigu atguigu 60795424 5月 13 22:19 blk_1073741827
-rw-rw-r--. 1 atguigu atguigu 474975 5月 13 22:19 blk_1073741827_1003.meta
drwxr-xr-x. 7 atguigu atguigu 245 4月 2 2019 jdk1.8.0_212
-rw-rw-r--. 1 atguigu atguigu 195013152 5月 14 00:55 tmp.tar.gz
③ 执行 wordcount 程序
[atguigu@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /wcinput /wcoutput