IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> Hadoop 3.xx + Windows 搭建开发环境 -> 正文阅读

[大数据]Hadoop 3.xx + Windows 搭建开发环境

第一步

  1. 下载 JDK 1.8.0 ++ 配置JDK环境变量 JAVA_HOEM
  2. 下载 Hadoop ,推荐镜像下载HADOOP,配置 Hadoop环境变量 HADOOP_HOME HADOOP_USER_NAME
  3. 下载相近版本的 winutils

下载的winutils,将其bin目录下的所有文件复制到hadoop3.xx/bin下面,再将里面的hadoop.dll 拷贝一份放到windows/system32下面,然后重新启动计算机(或者重新启动IDE)

  1. 测试hadoop是否成功 cmd命令:
hadoop version

第二步

配置 hadoop 的Configuration 文件

  1. ./etc/hadoop/core-site.xml,粘贴到下方并保存此文件
<configuration>
   <property>
       <name>fs.defaultFS</name>
       <value>hdfs://localhost:9000</value>
   </property>
</configuration>
  1. 将“mapred-site.xml.template”重命名为“mapred-site.xml”并编辑此文件/etc/hadoop/mapred-site.xml,粘贴到下方并保存此文件
<configuration>
   <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
   </property>
</configuration>
  1. 编辑文件 etc/hadoop/hdfs-site.xml,粘贴到 xml下方并保存此文件

注意需要在hadoop下房间里文件夹data,data下再建立两个文件夹nn dn

<configuration>
   <property>
       <name>dfs.replication</name>
       <value>1</value>
   </property>
   <property>
       <name>dfs.namenode.name.dir</name>
       <value>/hadoop-2.8.0/data/nn</value>
   </property>
   <property>
       <name>dfs.datanode.data.dir</name>
       <value>/hadoop-2.8.0/data/dn</value>
   </property>
</configuration>
  1. 编辑文件/etc/hadoop/yarn-site.xml,粘贴下面的 xml 段落并保存此文件
<configuration>
   <property>
    	<name>yarn.nodemanager.aux-services</name>
    	<value>mapreduce_shuffle</value>
   </property>
   <property>
      	<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>  
	<value>org.apache.hadoop.mapred.ShuffleHandler</value>
   </property>
</configuration>
  1. 编辑 hadoop-env.cmd 在 set java_home 那里设置你的java路径
    在这里插入图片描述

最后一步

  1. 打开 cmd 并输入命令
hdfs namenode –format
  1. 到 hadoop3.xx 下面的 sbin目录下,输入命令
start-all.cmd

启动四个窗口
Hadoop Namenode
Hadoop datanode
YARN Resourc Manager
YARN Node Manager

  1. 看到webui 界面 显示出了yarn和hdfs
    hdfs: HDFS 大坑!换端口了!哈哈哈哈哈哈
    yarn: Yarn集群
  2. 关闭集群
stop-all.cmd

完美撒花 ?

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2022-08-19 19:12:48  更:2022-08-19 19:15:58 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年5日历 -2024/5/19 17:02:54-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码