IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> hadoop安装(window10) -> 正文阅读

[大数据]hadoop安装(window10)

一、下载和winutils

1.下载http://archive.apache.org/dist/hadoop/core/

官网下载:http://hadoop.apache.org/releases.html? ?(提供最新的几个版本)

?https://github.com/steveloughran/winutils(windows安装需要)

如果出现“Bandwidth limit exceeded”-限制下载,可以用迅雷下载,本人直接用迅雷下载;

或者参考:https://blog.csdn.net/docsz/article/details/118520724

二、解压

将tar.gz包解压至D盘根目录:Note:必须用管理员权限解压

?三、配置环境变量:

?新建系统变量:

变量名:HADOOP_HOME

变量值:你的hadoop位置??E:\hadoop\hadoop-2.8.0\hadoop-2.8.0

编辑Path系统路径? ?%HADOOP_HOME%\bin

?四.编辑hadoop的文件

?java 路径不能有空格,采用以下配置方式或者没有空格的目录set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_172;

打开 \etc\hadoop\hadoop-enc.cmd文件,修改JAVA_HOME为你自己的jdk路径 。注意你的JDK安装在Program Files目录下,

名称用名称用\PROGRA~1\Java 否则中间的空格可能会识别失败。

更改为:

?五、配置

5.1、配core-site.xml

?修改D:/hadoop-3.0.0/etc/hadoop/

?

<configuration>
	<property>
       <name>fs.default.name</name>
       <value>hdfs://localhost:9000</value>
   </property>
</configuration>

5.2、修改D:/hadoop-3.0.0/etc/hadoop/ mapred-site.xml配置:

<configuration>
	<property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
   </property>
</configuration>

5.3、在:/hadoop-3.0.0目录下创建data目录,作为数据存储路径:

5.4、修改D:/hadoop-3.0.0/etc/hadoop/ hdfs-site.xml配置:

<configuration>
	<!-- 这个参数设置为1,因为是单机版hadoop -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
	<property> 
     <name>dfs.permissions</name> 
     <value>false</value> 
  </property>
   <property>
       <name>dfs.namenode.name.dir</name>
       <value>/D:/hadoop-3.0.0/data/namenode</value>
   </property>
   <property>
		<name>fs.checkpoint.dir</name>
		<value>/D:/hadoop-3.0.0/data/snn</value>
	</property>
	<property>
		<name>fs.checkpoint.edits.dir</name>
		<value>/D:/hadoop-3.0.0/data/snn</value>
	</property>
	   <property>
       <name>dfs.datanode.data.dir</name>
       <value>/D:/hadoop-3.0.0/data/datanode</value>
   </property>
</configuration>

注意:记得把上边地址改为自己电脑hadoop的地址;

?5.5、修改D:/hadoop-3.0.0/etc/hadoop/ yarn-site.xml配置:

<configuration>
<!-- Site specific YARN configuration properties -->
	<property>
    	<name>yarn.nodemanager.aux-services</name>
    	<value>mapreduce_shuffle</value>
   </property>
   <property>
      	<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>  
		<value>org.apache.hadoop.mapred.ShuffleHandler</value>
   </property>
</configuration>

六、bin目录替换

下载:https://github.com/steveloughran/winutils

?

安装的是3.0.0版本,所以用3.0.0中bin去替换;

将文件D:\job\hadoop\hadoop-2.7.7\bin\hadoop.dll复制到以下位置

? ? ? ? ? ? ? D:\job\hadoop\hadoop-2.7.7\sbin

? ? ? ? ? ? ? C:\Windows\System32

?检查Hadoop是否安装成功:

运行“Hadoop version”,成功如下:

?

七、启动服务

以管理员身份打开命令提示符?打开cmd,cd到安装目录下的bin,并执行命令:

hdfs namenode -format? (注意 :-前面有空格)

?

?

上图失败,是环境变量问题,或者配置Hadoop环境变量后重新启动;

我在自己笔记本重新安装了Hadoop2.7.1,运行成功:(同样的步骤)

?

?

参考:

https://blog.csdn.net/Sylarjyd/article/details/91038732

https://blog.csdn.net/songhaifengshuaige/article/details/79575308

https://codechina.csdn.net/mirrors/steveloughran/winutils?utm_source=csdn_github_accelerator

https://www.cnblogs.com/lcycn/p/8595945.html?

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2021-08-21 15:32:29  更:2021-08-21 15:34:01 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/23 13:25:48-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码