IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> 大数据系列-Hadoop集群搭建(1) -> 正文阅读

[大数据]大数据系列-Hadoop集群搭建(1)

通过本文实践,搭建好3个实例的Hadoop集群,并验证集群的可用性。


1.环境准备

2. JDK卸载与安装

卸载是卸载OpenJDK,安装一些常用工具与jdk8

  • 卸载JDK
    #卸载JDK,如果原来安装系统时有安装
    #-n1 参数代表,挨个作为参数,供后面的命令处理
    #rpm -e --nodeps  是卸载包,--nodeps表示不含依赖
    $rpm -qa | grep -i java | xargs -n1 sudo rpm -e --nodeps
  • 安装常用工具?
#”epel-release”的软件包,自动配置yum的软件仓库
$yum install -y epel-release

# 安装 psmisc 管理/proc目录的程序
# nc nc是netcat 网络工具包
# net-tools 是 net-tools工具箱包括arp, hostname, ifconfig, netstat, rarp, route, plipconfig, slattach等工具
# lrzsz 上传下载工具包
# ntp 时间同步
# libzstd 压缩工具

$yum install -y psmisc nc net-tools rsync vim lrzsz ntp libzstd openssl-static tree iotop git
  • 虚拟机创建目录,上传安装文件,安装JDK
#一个放安装软件包  一个放解压后文件
$mkdir /opt/software  /opt/module

# 创建用户hadoop
$useradd hadoop

# 修改hadoop密码
$passwd hadoop

# 修改目录所有者与所属组
$chown -R hadoop:hadoop /opt/*

Mac上传安装文件

#拷贝Mac  主机上Hadoop、jdk 文件,到虚拟机101(102、103同样操作)的/opt/software目录下

$scp /opt/software/*.tar.gz root@192.168.56.101:/opt/software

安装JDK

#进入目录,解压
$cd /opt/software/
$tar -zxvf jdk-8u311-linux-i586.tar.gz -C /opt/module

配置JDK环境变量

#创建自己的配置文件cust.sh
$vi /etc/profile.d/cust.sh

#文件内容如下
$more cust.sh
#JAVA_HOME
JAVA_HOME=/opt/module/jdk1.8.0_311
PATH=$PATH:$JAVA_HOME/bin
export JAVA_HOME
export PATH

如果出现以下问题,请按如下操作解决

$java -V
-bash: /opt/module/jdk1.8.0_311/bin/java: /lib/ld-linux.so.2: bad ELF interpreter: 没有那个文件或目录

#原因: 度娘说是系统软件位数问题,如:64位系统中安装了32位程序
#解决方案
$yum install glibc.i686

安装后,再查看Java/javac 的版本

?其他虚假机实例102、103,一样的配方,一样的效果。

3.Hadoop 集群安装

解压配置Hadoop环境变量,102、103虚拟机实例也是一样操作。

#解压文件
$tar -zxvf /opt/software/jdk-8u311-linux-i586.tar.gz -C /opt/module/

#编辑cust.sh,改为如下
#JAVA_HOME
JAVA_HOME=/opt/module/jdk1.8.0_311
PATH=$PATH:$JAVA_HOME/bin
HADOOP_HOME=/opt/module/hadoop-3.3.1

PATH=$PATH:$HADOOP_HOME/bin
PATH=$PATH:$HADOOP_HOME/sbin
export JAVA_HOME
export HADOOP_HOME
export PATH

#执行下source
$source /etc/profile

#hadoop 命令看下版本信息,是否OK
$hadoop version 

安装后查看如下:

?本地跑一个Hadoop sample

#修改文件归属组
$sudo chown -R hadoop:hadoop /opt/*

#创建目录
$cd /opt/module/hadoop-3.3.1
$mkdir wcinput
$vi wcinput_sample

#输入内容
angus test
sufiyar test
angus test
sufiyar test
angus test
sufiyar test
angus test
sufiyar test
angus test
sufiyar test
doudou test
hadoop test
root tes

#hadoop用户执行wordcount 测试,wcinput 为单词统计目录,wcoutput为统计结果输出目录
$hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar wordcount  wcinput  wcoutput

执行结果如下:

下节完成分布式运行模式验证Hadoop集群

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2022-02-06 13:53:32  更:2022-02-06 13:56:15 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/24 13:27:13-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码