IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> Hadoop完全分布式集群搭建 -> 正文阅读

[大数据]Hadoop完全分布式集群搭建

  • 新建三台虚拟机(三台虚拟机都要执行)

一、关闭防火墙

使用root用户登录,打开命令行终端:点击左上角-》应用程序-》收藏-》终端

查看防火墙状态:

systemctl status firewalld

关闭防火墙:

systemctl ?stop firewalld

关闭防火墙的自动运行:

 systemctl disable firewalld

重新查看状态:应该为inactive(dead)

永久修改主机名:

hostnamectl set-hostname ?主机名

二、配置网卡:

打开网卡文件:

vim /etc/sysconfig/network-scripts/ifcfg-ens33

修改:

BOOTPROTO=static

ONBOOT=yes

添加:

IPADDR=192.168.##.** ??(##与VM一致,**为自己设置,且每台虚拟机的**是唯一的)
PREFIX=24
GATEWAY=192.168.##.2
ETMASK=255.255.255.0

(注:若打开文件后已有语句的=后有“”那么添加文件时,=后也要加“”,与已有文件输入格式,保持一致)

重启网卡:

service network restart

修改 /etc/hosts

  1. vi ?/etc/hosts
  2. 添加:192.168.##.** ??主节点主机名

? ? ? ? ? ? ? ? ? ? 192.168.##.** ??从节点1主机名

? ? ? ? ? ? ? ? ? ? 192.168.##.** ??从节点2主机名

? ? ? ? ? ? ? ? ? ?(注:三台虚拟机都要配置)

三、配置SSH免密登录(三台虚拟机都要执行)

产生密钥(3)

ssh-keygen –t rsa

然后一直回车即可

创建公钥(3)

cp ~/.ssh/id_rsa.pub ?~/.ssh/authorized_keys

(注:下面两步每执行一条命令就需要你输入一次密码)

将slave1、slave2节点公钥copy到username

ssh-copy-id ?-i??主机名

将master的authorized_keys拷贝到其他节点

scp /root/.ssh/authorized_keys ??slave1:/root/.ssh

scp /root/.ssh/authorized_keys ??slave2:/root/.ssh

测试:ssh 主机名

四、配置Hadoop文件:

安装hadoop以及jdk

准备工作:

  1. 在windows下安装winscp,打开安装后的winscp工具,在连接对话框中分别输入:linux系统的IP地址、用户名root、密码,点击登录进行连接。通过winscp连接linux系统后,将hadoop-2.7.3.tar.gz、jdk-8u151-linux-x64.tar.gz安装包传输到linux的/usr/local目录下。
  2. 解压安装包:
cd???/usr/local

tar??zxvf ?hadoop-2.7.3.tar.gz

tar ?zxvf ?jdk-8u151-linux-x64.tar.gz

??????????解压后,生成hadoop-2.7.3目录以及jdk1.8.151目录。

  1. 给解压后的安装包换一个短名,方便使用
mv??hadoop-2.7.3 ?hadoop

mv ?jdk1.8.151 ???java

全局变量配置文件

vim /etc/profile

配置hadoop?

export HADOOP_HOME=hdoop路径

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

配置jdk

export JAVA_HOME=jdk路径

export PATH=$JAVA_HOME/bin:$PATH

:wq保存退出

使环境生效

source?/etc/profile

Source在当前bash环境下读取并执行FileName中的命令。

?

五、配置hadoop文件

进文件目录:?cd /root/hadoop/etc/hadoop

  1. vim hadoop-env.sh
export JAVA_HOME=/usr/local/jdk
  1. vim core-site.xml
<configuration>

<property>

<name>fs.defaultFS </name>

<value>hdfs://master:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>(tmp目录)

<value>/usr/local/hadoop/tmp</value>

</property>

</configuration>
  1. vim hdfs-site.xml
<configuration>

<property>

<name>dfs.replication</name>

?<value>1</value>

</property>

</configuration>
  1. vim mapred-site.xml ??(cp mapred-site.xml.template mapred-site.xml)??#改名
<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>
  1. vim yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8035</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8088</value>
</property>
</configuration>

?

编写slaves文件 ?(也只需在主机进行)

vim?slaves

?

里面的localhost删掉

添加上两台丛机的主机名 (每个主机名独占一行

六、分发全局变量配置文件

scp –r空格/etc/profile root@slaves1:/etc
scp –r空格/etc/profile root@slaves2:/etc

切换从机输入source?/etc/profile使环境生效

????????分发HADOOP和JDK ?(主机进行)

scp –r空格/usr/local/hadoop  root@slaves1:/usr/local/hadoop
scp –r空格/usr/local/hadoop  root@slaves2:/usr/local/hadoop
scp –r空格/usr/local/jdk  root@slaves1:/usr/local/jdk
scp –r空格/usr/local/jdk  root@slaves2:/usr/local/jdk

? ????????分发salves文件

scp –r空格/usr/local/hadoop/etc/hadoop/slaves  root@slaves1:/usr/local/hadoop/etc/hadoop
scp –r空格/usr/local/hadoop/etc/hadoop/slaves  root@slaves2:/usr/local/hadoop/etc/hadoop

? ? ? ? 分发/etc/Hadoop里的文件

scp –r空格/usr/local/hadoop/etc/hadoop  root@slaves2:/usr/local/hadoop/etc/

最好是做完一步分发一步,不然容易搞混

七、格式化Hadoop

master:

hadoop namenode –format

八、开启集群

start-all.sh

Master进程:namenode ??resorcemanager ??secondaryNameNode

?

Slave进程:datanode ????nodemanager ?

进程起不来,检查HADOOP和JDK配置文件

例:NameNode无法启动

vim /root/hadoop/etc/hadoop/core-site.xml

配置文件是否有书写错误

<configuration>

<property>

<name>fs.defaultFS </name>

<value>hdfs://master:9000</value>(主机名:9000)

</property>

<property>

<name>hadoop.tmp.dir</name>tmp目录)

<value>/usr/local/hadoop/tmp</value>

</property>

</configuration>

单独启动nodemanager yarn-daemon.sh start nodemanager

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2021-08-22 13:36:15  更:2021-08-22 13:38:50 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年10日历 -2024/10/28 10:32:54-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码