IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> Hadoop安装教程单机/伪分布式配置 -> 正文阅读

[大数据]Hadoop安装教程单机/伪分布式配置

环境:ubuntu-20.04.4

创建hadoop用户

首先按 ctrl+alt+t 打开终端窗口,输入如下命令创建新用户 :

sudo useradd -m hadoop -s /bin/bash

接着使用如下命令设置密码,按提示输入密码:

sudo passwd hadoop

最后注销当前用户(点击屏幕右上角的齿轮,选择注销)用 hadoop 用户登录后更新一下

sudo apt-get update

安装SSH、配置SSH无密码登陆

sudo apt-get install openssh-server

安装后,可以登陆本机

ssh localhost

输入 yes 。然后按提示输入密码 hadoop。

登陆是需要每次输入密码的,我们需要配置成SSH无密码登陆

先退出

exit

进入ssh目录

cd ~/.ssh/ 

?生成密钥

ssh-keygen -t rsa

?

加入授权

cat ./id_rsa.pub >> ./authorized_keys

验证是否成功使用

ssh localhost

直接登录即可

安装Java环境

使用自带的火狐浏览器在https://www.oracle.com/java/technologies/javase/javase8-archiv

下载这个

?在Linux命令行界面中,执行如下:创建一个文件夹来存放jdk

cd /usr/lib
sudo mkdir jvm

打开新的终端

cd 下载
sudo tar -zxvf ./jdk-8u202-linux-x64.tar.gz -C /usr/lib/jvm  //这里要注意自己jdk的版本不要盲目复制

接下来配置环境变量

cd ~
gedit ~/.bashrc //或者直接打开一个新的终端输入这行最前面的命令就行

在打开的文档中输入

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_202 //注意自己的jdk版本
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

?

保存后进行重新编译

source ~/.bashrc

编译好之后可以查看是否安装成功

java -version

安装 Hadoop?

Apache Hadoop在这个网址下载,下那个binary

?点击之后,下载这个

?

sudo tar -zxf ~/下载/hadoop-2.10.1.tar.gz -C /usr/local   
cd /usr/local/
sudo mv ./hadoop-2.10.1/ ./hadoop            
sudo chown -R hadoop ./hadoop    

查看是否安装成功

cd hadoop
./bin/hadoop version

以上就是Hadoop的单机配置了

Hadoop伪分布式配置

打卡新的终端

cd /usr/local/hadoop/etc/hadoop/ 
gedit ./core-site.xml

插入

<property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>

保存退出

gedit ./hdfs-site.xml

?插入

<property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>

保存并退出

打开新的终端,执行格式划

cd /usr/local/hadoop
./sbin/start-dfs.sh

在本地的浏览器中输入http://localhost:9870/? ????????

?是彩色的网页奥,这个图是我挂起截的

?

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2022-04-06 23:15:00  更:2022-04-06 23:15:29 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/24 5:06:59-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码