| |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
-> 大数据 -> Hadoop配置文件( hadoop-env.sh、core-site.xml、hdfs-site.xm、mapred-site.xml、yarn-site.xml、 slaves)详解 -> 正文阅读 |
|
[大数据]Hadoop配置文件( hadoop-env.sh、core-site.xml、hdfs-site.xm、mapred-site.xml、yarn-site.xml、 slaves)详解 |
?hadoop-env.sh配置hadoop中的 hadoop-env.sh(后边很多框架配置环境都是xxx.env.sh) 配置hadoop的环境变量的,一般有Java home,hadoopconfdir等这些软件、配置目录,有运行过程中使用的变量,如hadoop栈大小配置,java 运行内存大小配置等等。 用工具直接打开进行配置即可; 默认是已经开启的,如果前面有#,只需要去掉即可; core-site.xml配置hadoop的访问目录(配置ip主机和端口号;提供出来进行访问);修改配置文件 etc/hadoop/core-site.xml 用于定义系统级别的参数,如HDFS URL、Hadoop的临时目录等;
其中,fs.defaultFS表示要配置的默认文件系统,io.file.buffer.size表示设置buffer的大小。 最简单的方法,使用工具直接找到文件打开进行配置; 在这个里边还有很多的配置信息,需要我们去官方找过来配置; .配置元数据和block块;其实就是去配置我们的hdfs中数据存储的block块; hdfs-site.xmlHDFS也是采用块管理的,但是比较大,在Hadoop1.x中默认大小是64M,Hadoop2.x中大小默认为128M;他就是把一个大的文件分割成多个128M的block块来分布式存储数据; HDFS的元数据包含三部分: 抽象目录树 内存:1、2、3 data 需要对/usr/local/hadoop-2.7.3/etc/hadoop/hdfs-site.xml 其实就是hadoop的文件系统进行配置; mapred-site.xml配置计算框架:mapreduce框架; 需要对这个文件进行修改: mapred-site.xml
? ? yarn-site.xml对yarn的资源调度的配置: resourcemanager(资源调度管理者--针对的是nameNode) 和nodemanager (节点管理者--针对的是我们具体的节点) 主要是在 yarn-site.xml中进行配置: ?slaves配置从节点:也就是指定那些节点是从节点:就是这个文件:slaves 这个地方把原来的localhost删除;加入你的从节点即可; ?到此hadoop的配置基本完成;就可以把这个分发给从节点中去; 发分主节点的hadooop内容给从节点把配置好的hadoop的内容发分给hadoop02中的usr/local目录中; scp -r /usr/local/hadoop-2.7.3/ hadoop02:/usr/local/ 把配置好的hadoop的内容分发给hadoop03中的usr/local目录中; scp -r /usr/local/hadoop-2.7.3/ hadoop03:/usr/local/ ?hadoop配置完成 |
|
|
上一篇文章 下一篇文章 查看所有文章 |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 | -2024/11/24 6:18:04- |
|
网站联系: qq:121756557 email:121756557@qq.com IT数码 |