IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> 8.12 大数据Linux安装Hadoop -> 正文阅读

[大数据]8.12 大数据Linux安装Hadoop

1.上传压缩包

2.解压压缩包

3.移动到/usr/java/目录下

4.进入Hadoop目录:进行测试

创建一个文本文件,进行MapReduce计算

5.WordCount单词统计?命令位置${hadoop_home}

>bin/hadoop [jar] 运行的jar文件位置 jar运行程序的参数 执行的文件 结果输出的目录

统计文本文件中的单词数量。?

?abc 有3个 hello有2个

伪分布式安装

1.配置ip地址和主机名的映射

2.设置免密登录:

位置:主目录【~】

ssh-Keygen-t rsa 生成秘钥,三次回车

ssh-copy-id –i master-jm //拷贝密钥到自己。

?

?3.

修改配置文件:位置${HADOOP_HOME}/etc/hadoop/

配置?Hadoop?环境信息:暂时不需要配置。

hadoop-env.sh

配置?HDFS:

core-site.xml

<configuration>?

<property>?

<name>fs.defaultFS</name>?<value>hdfs://master-jm:9000</value>?

</property>?

</configuration>

hdfs-site.xml?

<configuration> 
<property> 
<name>dfs.replication</name> 
<value>1</value> 
</property> 
</configuration>

4.

可以测试?HDFS?部分:

1, 格式化?NameNode

??bin/hdfs namenode –format

2, 启动?hdfs?系统

??sbin/start-dfs.sh

查看?HDFS?的网页?http://192.168.137.120:9870

?5.

配置?YARN:

yarn-site.xml

<configuration> 
<property> 
<name>yarn.nodemanager.aux-services</name> 
<value>mapreduce_shuffle</value> 
</property> 
<property> 
<name>yarn.nodemanager.env-whitelist</name> 
< 
value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DIS
TCACHE,HADOOP_YARN_HOME,HADOOP_HOME,PATH,LANG,TZ,HADOOP_MAPRED_HOME</value> 
</property> 
</configuration>

配置?MapReduce:

mapred-site.xml

<configuration> 
<property> 
<name>mapreduce.framework.name</name> 
<value>yarn</value> 
</property> 
<property> 
<name>mapreduce.application.classpath</name> 
<value>$HADOOP_MAPRED_HOME 
/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value> 
</property> 
</configuration>

启动?YARN:

>sbin/start-yarn.sh

?查看?YARN?网页:http://192.168.137.120:8088

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2021-08-13 12:07:06  更:2021-08-13 12:08:24 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/23 9:31:22-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码