IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> Hadoop2.9.2在windows上的安装 -> 正文阅读

[大数据]Hadoop2.9.2在windows上的安装

1、下载hadoop-2.9.2.tar.gz

官网下载地址:http://archive.apache.org/dist/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz

hadoop-2.9.2官网文档:https://hadoop.apache.org/docs/r2.9.2

下载完之后,将hadoop-2.9.2.tar.gz 放到任意文件夹(路径别有中文),并解压

2、?配置HADOOP_HOME环境变量

3、配置Path环境变量

4、下载 windows 环境下所需的winutils.exe文件

hadoop主要基于linux编写,这个winutil.exe主要用于模拟linux下的目录环境。
因此hadoop放在windows下运行的时候,需要这个辅助程序才能运行。

将winutils.exe放到你解压的 hadoop-2.9.2.tar.gz 的bin目录下

下载地址:https://raw.githubusercontent.com/cdarlint/winutils/master/hadoop-2.9.2/bin/winutils.exe

其他版本的winutils.exe下载:https://github.com/cdarlint/winutils

5、修改hadoop-env.cmd

hadoop与jdk版本对应关系
hadoop-2.9.2 ? ? JDK 1.7 or 1.8
hadoop-2.10.2 ? JDK 1.7 or 1.8
hadoop-3.1.3 ? ? JDK 1.8

修改文件:%HADOOP_HOME%\etc\hadoop\hadoop-env.cmd

jdk的默认安装路径有可能需要管理员访问权限才可以访问,所以如果像上图中这样配置有可能会导致hadoop安装失败,失败的原因则是未检测到jdk环境,会报如下的错误:

解决方案:
1、将$HADOOP_HOME/etc/hadoop/hadoop-env.cmd文件中的?
set JAVA_HOME=C:\Program Files\Java\jdk1.8.0_40
修改为?
set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_40
2、保存文件
3、然后重新在cmd窗口输入 hadoop version 命令,即可成功!

?

6、重启 IDE

主要是因为环境变量修改了,需要重启启动idea进程读取环境变量,没重启IDE,执行代码会报如下错误:

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章           查看所有文章
加:2021-07-28 13:26:30  更:2021-07-28 13:26:55 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年5日历 -2024/5/7 0:19:32-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码