一、Moba–Windows软件
Moba–windows软件,windows和linux传输文件要用的软件 1、打开moba创建新的连接服务
二、本地部署
1、在/opt 下创建两个文件夹:software、module 2、software:放软件的压缩包 module:放软件解压后的文件夹 3、切换到software文件夹下
cd /opt/software
4、解压jdk、Hadoop到module文件夹中
tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/
tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/
5、配置jdk、hadoop环境变量
vi /etc/profile
在里面添加 配置完之后生效一下
source /etc/profile
输入:java -version出现 输入:hadoop version出现 就ok了
三、Hadoop的本地部署使用
1、首先要有包含内容的文件 在/opt下面创建一个目录(文件夹)test
mkdir test
在/opt/test目录下面创建input目录(文件夹)和output目录(文件夹)
mkdir input
mkdir output
在/opt/test/input目录下创建包含内容的文件
vi color
2、用hadoop去执行这个文件 切换到/opt/module/hadoop-3.1.3/share/hadoop/mapreduce目录下 执行文件:
hadoop jar hadoop-mapreduce-examples-3.1.3.jar wordcount /opt/test/input/ /opt/test/output/count.txt
3、查看执行后的结果
cd /opt/test/output/count.txt
cat part-r-00000
|