第一步
- 下载 JDK 1.8.0 ++ 配置JDK环境变量 JAVA_HOEM
- 下载 Hadoop ,推荐镜像下载HADOOP,配置 Hadoop环境变量 HADOOP_HOME HADOOP_USER_NAME
- 下载相近版本的 winutils
下载的winutils,将其bin目录下的所有文件复制到hadoop3.xx/bin下面,再将里面的hadoop.dll 拷贝一份放到windows/system32下面,然后重新启动计算机(或者重新启动IDE)
- 测试hadoop是否成功 cmd命令:
hadoop version
第二步
配置 hadoop 的Configuration 文件
- ./etc/hadoop/core-site.xml,粘贴到下方并保存此文件
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
- 将“mapred-site.xml.template”重命名为“mapred-site.xml”并编辑此文件/etc/hadoop/mapred-site.xml,粘贴到下方并保存此文件
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
- 编辑文件 etc/hadoop/hdfs-site.xml,粘贴到 xml下方并保存此文件
注意需要在hadoop下房间里文件夹data,data下再建立两个文件夹nn dn
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/hadoop-2.8.0/data/nn</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/hadoop-2.8.0/data/dn</value>
</property>
</configuration>
- 编辑文件/etc/hadoop/yarn-site.xml,粘贴下面的 xml 段落并保存此文件
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
- 编辑 hadoop-env.cmd 在 set java_home 那里设置你的java路径
最后一步
- 打开 cmd 并输入命令
hdfs namenode –format
- 到 hadoop3.xx 下面的 sbin目录下,输入命令
start-all.cmd
启动四个窗口 Hadoop Namenode Hadoop datanode YARN Resourc Manager YARN Node Manager
- 看到webui 界面 显示出了yarn和hdfs
hdfs: HDFS 大坑!换端口了!哈哈哈哈哈哈 yarn: Yarn集群 - 关闭集群
stop-all.cmd
完美撒花 ?
|