| |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
-> 大数据 -> 实现hadoop组件分布式守护进程部署 -> 正文阅读 |
|
[大数据]实现hadoop组件分布式守护进程部署 |
? ? 一般初学Hadoop我们都是把全部的守护进程安装在一台集群上,其他几台集群就会很闲,导致资源分配不全!!! 我的hadoop版本为2.7.1,配置为3台集群 ? ? ? ?我们可以更改一下配置文件来达到分配的目的 ? ? ? ? 首先配置hdfs-site.xml? 我设置的是hadoop102为SecondaryNameNode的启动节点,建议先按照我的来,后面你们可以自己改 ?
这样hdfs就设置好了,下面我们来设置yarn 配置yarn-site.xml ?设置ResourceManager在hadoop101上面启动
这样就设置好了 我们后面的话就需要把设置的tmp 和logs 文件夹里面的都删了,三台都需要 之后就是格式化和启动了 由于我们设置的hdfs主节点在hadoop上面启动,所以在hadoop上面启动hdfs #start-dfs.sh 注意不要使用start-all.sh,会报错 查看节点,我们看到Hadoop100上面启动的SecondaryNameNode在Hadoop02上面启动了 ? ? ?接着我们启动yarn,注意我们需要在Hadoop101上面启动yarn #start-yarn.sh ?查看进程 ? ? ?已经启动成功了 特别注意的是 这样启动的话需要设置ssh免密登录, 每台集群都可以登录其他的集群 每台集群都可以登录其他的集群 每台集群都可以登录其他的集群 要不就会出现启动yarn卡死的情况 ? |
|
|
上一篇文章 下一篇文章 查看所有文章 |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 | -2024/11/24 3:33:33- |
|
网站联系: qq:121756557 email:121756557@qq.com IT数码 |