idea的安装
我这里是用的实验室汿大佬的2020.3.2版本，下面附上永久安装程序地址：
链接：https://pan.baidu.com/s/1G04mjeGEQX1is-D5pveY6w
提取码：star
双击进行安装：
这里是我因为c盘内存吃紧，所以装到了D盘，常规默认装到C盘即可，这个无伤大雅，点击next。
这里我选上了64-bit launcher,因为电脑64位，以及.java,继续点击next。
install并等待
之后finish即可。
下载资源包
之后用曲老师的资源包
还是老样子，下载链接：
链接：https://pan.baidu.com/s/1wOXDOmkjL4nGImCHT4H7tg
提取码：star
安装配置jdk
双击jdk-16.0.1_windows-x64_bin.exe运行安装jdk，
默认路径在C:\Program Files\Java\jdk-16.0.1,点击下一步即可，安装完成之后关闭。
进行环境变量配置
右键这台电脑，选择属性，高级系统设置
| 变量名 | 变量值 |
|---|---|
| Path | C:\Program Files\Java\jdk-16.0.1\bin |
| JAVA_HOME | C:\Program Files\Java\jdk-16.0.1 |
| CLASSPATH | C:\Program Files\Java\jdk-16.0.1\lib |
配好环境后cmd运行java -version，如果出现下图就是jdk安装成功
配置maven
将以上资源包里的apache-maven-3.8.1-bin.zip解压到一个文件夹，我这里解压的是D盘的software文件夹里，即D:\software\apache-maven-3.8.1-bin\apache-maven-3.8.1
然后还是和上面一样，配置maven环境变量
| 变量名 | 变量值 |
|---|---|
| Path | D:\software\apache-maven-3.8.1-bin\apache-maven-3.8.1\bin |
| MAVEN_HOME | D:\software\apache-maven-3.8.1-bin\apache-maven-3.8.1 |
cmd运行mvn -version进行验证
出现这个就成功。
IEDA里面配置maven
先在maven的bin的同级目录新建一个叫repository的本地仓库文件夹
找到apache-maven-3.6.3\conf 下的settings.xml，用idea打开，加上下面一行代码
<localRepository>D:\software\apache-maven-3.8.1-bin\apache-maven-3.8.1\repository</localRepository>
里面的路径就是你刚建的文件夹的地址
然后在idea里
File下拉找到Settings，点击找到Build,Execution,Deployment，下拉看到Build Tools，再下拉找到Maven
更改这三个
改完点击OK
Hadoop安装配置
首先点击资源包里的hadoop-3.1.1.tar.gz解压，这里我是解压到D盘的app文件夹下
然后解压资源包里面的apache-hadoop-3.1.1-winutils-master.zip，将里面的bin目录复制下来，然后找到Hadoop的bin目录，进行覆盖，就是说Hadoop里面的bin目录变成了压缩包解压文件的bin目录。（一定要换！一定要换！一定要换！）
接着进行Hadoop的环境变量配置
| 变量名 | 变量值 |
|---|---|
| HADOOP_HOME | D:\app\hadoop-3.1.1\hadoop-3.1.1 |
| Path | %HADOOP_HOME%\bin |
| Path | %HADOOP_HOME%\sbin |
之后cmd进行验证，出现以下报错，是需要更改配置文件里的一些东西
找到hadoop的etc目录下的hadoop-env.cmd用idea打开
可以看到25行的set JAVA_HOME=%JAVA_HOME%
把他改成set JAVA_HOME=C:\Program Files\Java\jdk-16.0.1
但是！Program Files有空格，所以Program Files写成PROGRA~1
即要改成set JAVA_HOME=C:\PROGRA~1\Java\jdk-16.0.1
再次进行cmd验证即可
这说明成功了
接着在Hadoop的bin目录同级目录创建data和tmp文件夹
在data文件夹下面再创建两个文件夹
之后进行一些配置文件的修改，全都是用idea打开
core-site.xml文件：添加一下代码
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
hdfs-site.xml文件：添加一下文件，路径改成自己的安装路径
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/D:\app\hadoop-3.1.1\hadoop-3.1.1\data\namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/D:\app\hadoop-3.1.1\hadoop-3.1.1\data\datanode</value>
</property>
</configuration>
mapred-site.xml文件：
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
yarn-site,xml文件
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>1024</value>
</property>
<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>1</value>
</property>
</configuration>
然后打开cmd，输入hdfs namenode -format进行格式化结点
然后找到hadoop-3.1.1下的share文件夹点进去，照我上面路径找到这个文件复制
复制到上级目录
回到hadoop安装目录，运行该文件
会弹四个窗口，都出现这种算结束
然后关掉即可
创建maven项目：
File>new>project
点next
名称随便，我这里是hadoop
把下列xml代码覆盖pom.xml
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>com.sugon.xdata</groupId>
<artifactId>mapreduce-examples</artifactId>
<version>1.0.0</version>
<packaging>jar</packaging>
<description></description>
<properties>
<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
<project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>
<java.version>1.8</java.version>
<hadoop.version>3.1.1</hadoop.version>
<log4j.version>1.2.17</log4j.version>
<mockito.version>1.8.5</mockito.version>
<junit.version>4.10</junit.version>
</properties>
<dependencies>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>${hadoop.version}</version>
</dependency>
<dependency>
<groupId>log4j</groupId>
<artifactId>log4j</artifactId>
<version>${log4j.version}</version>
</dependency>
<dependency>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-log4j12</artifactId>
<version>1.7.5</version>
</dependency>
<dependency>
<groupId>org.mockito</groupId>
<artifactId>mockito-all</artifactId>
<version>${mockito.version}</version>
<scope>test</scope>
</dependency>
<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>${junit.version}</version>
<scope>test</scope>
</dependency>
</dependencies>
<build>
<plugins>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-compiler-plugin</artifactId>
<version>2.3.2</version>
<configuration>
<source>1.8</source>
<target>1.8</target>
</configuration>
</plugin>
<plugin>
<artifactId>maven-assembly-plugin </artifactId>
<configuration>
<descriptorRefs>
<descriptorRef>jar-with-dependencies</descriptorRef>
</descriptorRefs>
<archive>
<manifest>
<mainClass>com.sugon.xdata.examples.mapreduce.wordcount.WordCount</mainClass>
</manifest>
</archive>
</configuration>
<executions>
<execution>
<id>make-assembly</id>
<phase>package</phase>
<goals>
<goal>single</goal>
</goals>
</execution>
</executions>
</plugin>
</plugins>
</build>
</project>
然后你的idea就会自己去下这些依赖的jar包
卡了就找右边栏的maven，下拉找到clean和install，先clean成功再点install重复循环，直到Pom.xml没有报红为止
如果有的jar包下不下来，就到这个地址去搜索jar包
https://mvnrepository.com/，比如我这里的有一个下不下来
就直接搜索
点第一个
找个版本点击
进去后复制这块的依赖代码到pom.xml里面
目前工作区结构
然后需要手动添加一些文件夹
file>project structure>modules
然后与.idea同级目录下右键点击new folder创建一个input文件夹
然后给他赋excluded,就是让它变橙色
再同理创建一个target文件夹
整完之后项目目录如下：
在项目目录找到input目录，新建一个input.txt
里面加上一些单词，保存退出。
在项目目录找到resource文件夹：
新建记事本
粘贴以下代码，保存，将记事本包括txt后缀全覆盖改成log4j.properties
log4j.rootLogger=info,stdout
#console
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss a} [Thread: %t][ Class:%c >> Method: %l ]%n%p:%m%n
点击是即可
然后回到idea，在java后面创建一个package，叫test，然后回车
在package下面创建一个class类，叫WordCount
里面写上测试代码：
package test;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import java.io.IOException;
import java.util.StringTokenizer;
public class WordCount {
public static class TokenizerMapper
extends Mapper<Object, Text, Text, IntWritable> {
private final static IntWritable one = new IntWritable(1);
private Text word = new Text();
public void map(Object key, Text value, Context context
) throws IOException, InterruptedException {
StringTokenizer itr = new StringTokenizer(value.toString());
while (itr.hasMoreTokens()) {
word.set(itr.nextToken());
context.write(word, one);
}
}
}
public static class IntSumReducer
extends Reducer<Text, IntWritable, Text, IntWritable> {
private IntWritable result = new IntWritable();
public void reduce(Text key, Iterable<IntWritable> values,
Context context
) throws IOException, InterruptedException {
int sum = 0;
for (IntWritable val : values) {
sum += val.get();
}
result.set(sum);
context.write(key, result);
}
}
public static void main(String[] args) throws Exception {
Configuration conf = new Configuration();
Job job = Job.getInstance(conf, "word count");
job.setJarByClass(WordCount.class);
job.setMapperClass(TokenizerMapper.class);
job.setCombinerClass(IntSumReducer.class);
job.setReducerClass(IntSumReducer.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);
FileInputFormat.addInputPath(job, new Path(args[0]));
FileOutputFormat.setOutputPath(job, new Path(args[1]));
System.exit(job.waitForCompletion(true) ? 0 : 1);
}
}
然后点击run，找到edit那行点击
然后如下，接着点OK
最后你终于能运行这个代码啦
可以看到在美丽的Process finished with exit code 0出现后，它新建了一个叫output的文件夹，在他下面的part-r-00000文件里面就是我们要的计数啦！
写了一天终于写完了，完结撒花！！！！！！
还是那个winutils的bin目录一定要确定替换成功了，那个很重要！！！！
也感谢曲老师全程指点！