| |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
-> 大数据 -> mac下搭建hadoop完全分布式集群 -> 正文阅读 |
|
[大数据]mac下搭建hadoop完全分布式集群 |
环境要求:
具体步骤: 1.PD 下载 unbuntu linux 安装,安装完毕后进入终端 找到你本机下载的?jdk 包所在的位置,copy 其路径名,cd 路径名 tar -zxvf jdk-8u152-linux-x64.tar.gz 进行解压 sudo gedit /etc/profile 配置环境变量 export JAVA_HOME=/usr/local/java/jdk1.8.0_152 export PATH=$PATH:$JAVA_HOME/bin: 改完后保存退出,执行 source /etc/profile,在终端 java -version 能看到 说明成功。 5.配置 SSH 免密登陆 Hadoop01: 192.168.31.6 Hadoop02:192.168.31.4 Hadoop03:192.168.31.5 2)hadoop01 的终端: 192.168.31.6 hadoop01 192.168.31.4 hadoop02 192.168.31.5 hadoop03 保存后退出。 4)sudo apt-get install openssh-server 安装 ssh 等一系列服务,若有则跳过,完成 后 sudo service ssh start 开启服务 chmod 600 authorized_keys ~/.ssh/authorized_keys chmod 700 ~/.ssh ssh-copy-id parallels@hadoop01 ssh-copy-id parallels@hadoop02 ssh-copy-id parallels@hadoop03 注:然后在 hadoop02 上面进到 home/parallels 目录下的.ssh 目录,用 root 用户 执行: 9)在 hadoop01 分别运行 ssh hadoop01 ,若出现下面则通了 6.安装 hadoop ?4 ) 修改配置文件 sudo gedit core-site.xml 修改 1.hadoop.tmp.dir 为/usr/local/hadoop/hadoop- 2.7.6/tmp;2.hadoop.proxyuser.root.hosts 中将 root 改为虚拟机的登录名(我的是 parallels) export HADOOP_HOME=/usr/local/hadoop/hadoop-2.7.6 改完后保存退出,执行 source /etc/profile,在终端 hadoop -version 能看到 sudo gedit ~/.bashrc 最后增加一行: source /etc/profile 保证每次启动时环境变 量自动生效。 7.启动 Hadoop hadoop namenode -format start-all.sh ? 再启动历史服务: mr-jobhistory-daemon.sh start historyserver 9.启动成功,打开 hadoop01 ip 地址的网页: http://192.168.31.6:50070??namenode 端口 http://192.168.31.6:50090??secondarynamenode 端口 http://192.168.31.6:8088??resourcemanager 端口 http://192.168.31.6:19888??historyserver 端口 参考: https://blog.csdn.net/baolibin528/article/details/43375231 https://blog.csdn.net/wk51920/article/details/51686038 ? |
|
|
上一篇文章 下一篇文章 查看所有文章 |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 | -2024/11/23 16:30:36- |
|
网站联系: qq:121756557 email:121756557@qq.com IT数码 |