IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 系统运维 -> Linux下安装Hadoop集群-详细步骤 -> 正文阅读

[系统运维]Linux下安装Hadoop集群-详细步骤

1.在usr目录下创建Hadoop目录,将安装包导入目录中并解压文件

?

2.进入vim /etc/profile文件并编辑配置文件

#hadoop
export HADOOP_HOME=/usr/hadoop/hadoop-2.6.0
export CLASSPATH=$CLASSPATH:$HADOOP_HOME/lib
export PATH=$PATH:$HADOOP_HOME/bin

?3.使文件生效

source /etc/profile

?4.进入Hadoop目录下

cd /usr/hadoop/hadoop-2.6.0/etc/hadoop

5.编辑配置文件

(1)进入vim hadoop-env.sh文件添加(java jdk文件所在位置)

export JAVA_HOME=/usr/java/jdk1.8.0_181

?(2)进入 vim core-site.xml(z1:在主节点的ip或者映射名(改成自己的))

<configuration>
<property>
        <name>hadoop.tmp.dir</name>
        <value>file:/root/hadoop/tmp</value>
</property>
<!--端口号9000-->
<property>
        <name>fs.default.name</name>
        <value>hdfs://z1:9000</value>
</property>
<!--开启垃圾桶机制单位分钟-->
<property>
    <name>fs.trash .insterval</name>
    <value>10080</value>
</property>
<!--缓冲区大小,实际工作根据服务器性能-->
<property>
    <name>io.file. buffer.sizei</name>
    <value>4096</value>
</property>
</configuration>
                                                                                                                                                                  39,9         底端

(3)Hadoop没有mapred-site.xml这个文件现将文件复制到这然后进入mapred-site.xml

cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml

?(z1:在主节点的ip或者映射名(改成自己的))

<configuration>
<property>
<!--指定Mapreduce运行在yarn上-->
   <name>mapreduce.framework.name</name>
   <value>yarn</value>
 </property>
<!--开启MapReduce的小任务模式-->
<property>
      <name>mapred.job.ubertask.enable</name>
      <value>true</value>
</property>
<property>
      <name>mapred.job.tracker</name>
      <value>z1:9001</value>
</property>

<property>
<name>mapreduce.jobhistory.address</name>
<value>CMaster:10020</value>
</property>
</configuration>

?(4)进入yarn-site.xml

vim yarn-site.xml

??(z1:在主节点的ip或者映射名(改成自己的))

<configuration>

<!-- Site specific YARN configuration properties -->

<!--配置yarn主节点的位置-->
<property>
        <name>yarn.resourcemanager.hostname</name>
        <value>z1</value>
</property>
<property>
<!-- mapreduce ,执行shuff1e时获取数据的方式.-->
<description>The address of the appiications manager interface inthe RM.</description>
     <name>yarn.resourcemanager.address</name>
     <value>z1:8032</value>
</property>
<property>
  <name>yarn.resourcemanager.scheduler.address</name>
  <value>z1:8030</value>
</property>

<property>
  <name>yarn.resourcemanager.webapp.address</name>
  <value>z1:8088</value>
</property>

<property>
  <name>yarn.resourcemanager.webapp.https.address</name>
  <value>z1:8090</value>
</property>
<property>
  <name>yarn.resourcemanager.resource-tracker.address</name>
  <value>z1:8031</value>
</property>
<property>
  <name>yarn.resourcemanager.admin.address</name>
  <value>z1:8033</value>
</property>
<property><!--mapreduce执行shuff1e时获取数据的方式,-->
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>
<property>
<!--设置内存,yarn的内存分配-->
  <name>yarn.scheduler.maximum-a11ocation-mb</name>
  <value>2024</value>
  <discription>每个节点可用内存,单位M,默认8182MB</discription>
</property>
<property>
  <name>yarn.nodemanager.vmem-pmem-ratio</name>
  <value>2.1</value>
</property>
<property>
  <name>yarn.nodemanager.resource.memory-mb</name>
  <value>1024</value>
</property>
<property>
  <name>yarn.nodemanager.vmem-check-enabled</name>
  <value>false</value>
</property>

<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>


</configuration>
                                                    

(5)进入hdfs-site.xml

vim hdfs-site.xml

<configuration>
<property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/hadoop/hadoop-2.6.0/hadoopDesk/namenodeDatas</value>
</property>
 <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/hadoop/hadoop-2.6.0/hadoopDatas/namenodeDatas</value>
    </property>
<property>
<!--副本个数-->
<name>dfs.replication</name>
<value>3</value>
</property>
<!--设置hdfs的文件权限-->
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
<!--设置一个文件切片的大小:128m-->
<property>
<name>dfs.bloksize</name>
<value>134217728</value>
</property>
</configuration>

?6.进入slaves添加主节点和从节点

vim slaves

?添加自己的主节点和从节点(我的是z1,z2,z3)

?7.将各个文件复制到其他虚拟机上

scp -r /etc/profile root@z2:/etc/profile #将环境变量profile文件分发到z2节点
scp -r /etc/profile root@z3:/etc/profile #将环境变量profile文件分发到z3节点
scp -r /usr/hadoop root@z2:/usr/   #将hadoop文件分发到z2节点
scp -r /usr/hadoop root@z3:/usr/   #将hadoop文件分发到z3节点

生效两个从节点的环境变量

source /etc/profile

8.格式化hadoop (仅在主节点中进行操作)
首先查看jps是否启动hadoop

hadoop namenode -format

当看到Exiting with status 0时说明格式化成功

?9.回到Hadoop目录下(仅在主节点操作)

cd /usr/hadoop/hadoop-2.6.0
sbin/start-all.sh  启动Hadoop仅在主节点操作

主节点输入jps效果:?

?

?

从节点输jps效果:

?

?

  系统运维 最新文章
配置小型公司网络WLAN基本业务(AC通过三层
如何在交付运维过程中建立风险底线意识,提
快速传输大文件,怎么通过网络传大文件给对
从游戏服务端角度分析移动同步(状态同步)
MySQL使用MyCat实现分库分表
如何用DWDM射频光纤技术实现200公里外的站点
国内顺畅下载k8s.gcr.io的镜像
自动化测试appium
ctfshow ssrf
Linux操作系统学习之实用指令(Centos7/8均
上一篇文章      下一篇文章      查看所有文章
加:2021-12-19 18:29:05  更:2021-12-19 18:29:17 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/16 4:11:52-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码