三沣开发知识 购物 网址 游戏 小说 歌词 地图 快照 股票 美女 新闻 笑话 | 汉字 软件 日历 阅读 下载 图书馆 开发 租车 短信 China
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
多播视频美女直播
↓电视,电影,美女直播,迅雷资源↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
vbs/VBScript DOS/BAT hta htc python perl 游戏相关 VBA 远程脚本 ColdFusion ruby专题
autoit seraphzone PowerShell linux shell Lua Golang Erlang 其它教程 CSS/HTML/Xhtml
html5 CSS XML/XSLT Dreamweaver教程 经验交流 开发者乐园 Android开发资料
站长资讯 .NET新手 ASP.NET C# WinForm Silverlight WCF CLR WPF XNA VisualStudio ASP.NET-MVC .NET控件开发 EntityFramework WinRT-Metro Java C++ PHP Delphi Python Ruby C语言 Erlang Go Swift Scala R语言 Verilog 其它语言 架构设计 面向对象 设计模式 领域驱动 Html-Css JavaScript jQuery HTML5 SharePoint GIS技术 SAP OracleERP DynamicsCRM K2 BPM 信息安全 企业信息 Android开发 iOS开发 WindowsPhone WindowsMobile 其他手机 敏捷开发 项目管理 软件工程 SQLServer Oracle MySQL NoSQL 其它数据库 Windows7 WindowsServer Linux
  IT知识库 -> 架构设计 -> hadoop 3.0.0 alpha3 配置 -> 正文阅读
 

[架构设计]hadoop 3.0.0 alpha3 配置

hadoop 3.0.0 alpha3 配置 1. 官网下载

 wget  http://mirror.bit.edu.cn/apache/hadoop/common /hadoop-3.0.0-alpha3/hadoop-3.0.0-alpha3.tar.gz 
..注意下载二进制(省时间)
1解压
tar -zxvf hadoop-3.0.0-alpha3-src.tar.gz  -C  /opt/  
cd /opt/
mv hadoop-3.0.0-alpha3/ hadoop3
3. 环境变量

vi /etc/profile
#Hadoop 3.0
export HADOOP_HOME=/usr/local/hadoop3
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile
4. 配置文件 hadoop3/etc/hadoop
1) hadoop-env.sh

注意: /usr/java/jdk1.8为jdk安装路径
2)core-site.xml

注意:hdfs://ha01:9000 中ha01是主机名
3) hdfs-site.xml

4) yarn-site.xml

注意:ha01是主机名
5) mapred-site.xml

注意:如果不配置mapreduce.admin.user.env 和 yarn.app.mapreduce.am.env这两个参数mapreduce运行时有可能报错。
6)workers

这里跟以前的slaves配置文件类似,写上从节点的主机名
5. 复制到其他节点
scp -r hadoop-3.0.0-alpha1 root@ha02:/usr/local
scp -r hadoop-3.0.0-alpha1 root@ha03:/usr/local
6. 启动
start-dfs.sh
start-yarn.sh
hdfs dfs -ls /

7. 运行wordcount
 hdfs dfs -cat /logs/wordcount.log

hadoop jar /usr/local/hadoop3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.0-alpha1.jar wordcount /logs/wordcount.log /output/wordcount
注意: /usr/local/hadoop3是解压路径,/logs/wordcount.log是输入文件路径,/output/wordcount运行结果路径
查看运行结果: hdfs dfs -text /output/wordcount/part-r-00000

8. Web界面
http://ha01:9870/

http://ha01:8088/

  架构设计 最新文章
大叔公开课~微服务与持久集成
Rabbitmq~对Vhost的配置
java 企业 网站源码 模版 屏幕自适应 有前后
DotNetCore跨平台~Dapper的使用
C# 函数式编程及Monads.net库
项目实战2—LVS负载均衡
IO设计模式:Reactor和Proactor对比
Lind.DDD~实体属性变更追踪器的实现
转载:https原理:证书传递、验证和数据加密
WebApiThrottle限流框架使用手册
上一篇文章      下一篇文章      查看所有文章
加:2017-06-18 01:46:41  更:2017-06-18 01:46:43 
 
技术频道: 站长资讯 .NET新手区 ASP.NET C# WinForm Silverlight WCF CLR WPF XNA Visual Studio ASP.NET MVC .NET控件开发 Entity Framework WinRT/Metro Java C++ PHP Delphi Python Ruby C语言 Erlang Go Swift Scala R语言 Verilog 其它语言 架构设计 面向对象 设计模式 领域驱动设计 Html/Css JavaScript jQuery HTML5 SharePoint GIS技术 SAP Oracle ERP Dynamics CRM K2 BPM 信息安全 企业信息化其他 Android开发 iOS开发 Windows Phone Windows Mobile 其他手机开发 敏捷开发 项目与团队管理 软件工程其他 SQL Server Oracle MySQL NoSQL 其它数据库 Windows 7 Windows Server Linux
脚本语言: vbs/VBScript DOS/BAT hta htc python perl 游戏相关 VBA 远程脚本 ColdFusion ruby专题 autoit seraphzone PowerShell linux shell Lua Golang Erlang 其它教程
网站开发: CSS/HTML/Xhtml html5 CSS XML/XSLT Dreamweaver教程 经验交流 开发者乐园 Android开发资料
360图书馆 软件开发资料 文字转语音 购物精选 软件下载 美食菜谱 新闻资讯 电影视频 小游戏 Chinese Culture 股票 租车
生肖星座 三丰软件 视频 开发 短信 中国文化 网文精选 搜图网 美图 阅读网 多播 租车 短信 看图 日历 万年历 2017年11日历
2017-11-20 5:47:23
多播视频美女直播
↓电视,电影,美女直播,迅雷资源↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT知识库