开发: C++知识库 Java知识库 JavaScript Python PHP知识库人工智能区块链大数据移动开发嵌入式开发工具数据结构与算法开发测试游戏开发网络协议系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑笔记本显卡显示器固态硬盘硬盘耳机手机 iphone vivo oppo 小米华为单反装机图拉丁

-> 大数据 -> Ubuntu16.04配置hadoop+Hbase+基础命令使用 -> 正文阅读

[大数据]Ubuntu16.04配置hadoop+Hbase+基础命令使用

hadoop配置

安装jdk

安装步骤参考：Ubuntu16.04下安装JDK1.8

一、下载hadoop

网址：https://archive.apache.org/dist/hadoop/core/hadoop-2.7.0/

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-70x4v8NH-1639060692960)(C:\Users\花孜然\AppData\Roaming\Typora\typora-user-images\image-20210617163655921.png)]$

二、文件上传Ubuntu

将下载好的hadoop传到ubantu自己账号的根目录下（我用的是Xftp，传输文件需要root账号登陆！如果遇到root无法登陆请自行百度（我踩过的坑））

注意：配置环境要在自己的账号下，我在root账户下配置不成功（jdk也一样）

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ilZePzNK-1639060692961)(C:\Users\花孜然\AppData\Roaming\Typora\typora-user-images\image-20210617164634470.png)]$

三、解压

1、防止错误先：

cd ~

2、查看

ls

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-kz3spr9F-1639060692962)(C:\Users\花孜然\AppData\Roaming\Typora\typora-user-images\image-20210617164920376.png)]$

3、解压并创建快捷方式输入：

tar -zxvf hadoop-2.7.0.tar.gz

ln -s hadoop-2.7.0 hadoop

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-6nciz0RR-1639060692962)(C:\Users\花孜然\AppData\Roaming\Typora\typora-user-images\image-20210617165136177.png)]$

四、配置 hadoop 环境变量

没有vim的用vi或者gedit都行，能编辑文件就行

sudo vim ~/.bashrc

在末尾配置如下：

export HADOOP_HOME=~/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin：

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-SqDb1w1s-1639060692963)(C:\Users\花孜然\AppData\Roaming\Typora\typora-user-images\image-20210617165605476.png)]$

保存退出和使修改文件生效输入：

source ~/.bashrc

测试 hadoop 是否安装成功输入：

hadoop version

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-iqZUvjZI-1639060692963)(C:\Users\花孜然\AppData\Roaming\Typora\typora-user-images\image-20210617165944338.png)]$

安装成功

五、接下来要开始配置 hadoop 工作文件

切换到配置文件目录

cd hadoop/etc/hadoop/

ls

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-v5NTWCA4-1639060692964)(C:\Users\花孜然\AppData\Roaming\Typora\typora-user-images\image-20210617170209121.png)]$

1、修改hadoop-env.sh文件

1、修改 hadoop-env.sh 文件

sudo vim hadoop-env.sh

2、找到 JAVA_HOME, 修改为:

export JAVA_HOME=~/jdk

此目的为了找到你的jdk，后面为jdk路径

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-dU2qaKHM-1639060692964)(C:\Users\花孜然\AppData\Roaming\Typora\typora-user-images\image-20210617170434747.png)]$

2、修改 core-site.xml 文件

1、先查看主机名命令：

hostname

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-fhhVP2DT-1639060692965)(C:\Users\花孜然\AppData\Roaming\Typora\typora-user-images\image-20210617170929093.png)]$

2、输入：

sudo vim core-site.xml

3、在里面添加一下配置

    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/wang/hadoop/tmp</value>
   </property>
   <property>
         <name>fs.defaultFS</name>
         <value>hdfs://ubuntu:8020/</value>
   </property>

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-tMBX1sQa-1639060692965)(C:\Users\花孜然\AppData\Roaming\Typora\typora-user-images\image-20210617171608752.png)]$

3、修改 hdfs-site.xml 配置

1、输入

sudo vim hdfs-site.xml

2、在里面添加以下配置

   <property>
       <name>dfs.replication</name>
       <value>1</value>
   </property>
  <property>
       <name>dfs.http.address</name>
       <value>0.0.0.0:50070</value>
   </property>

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-hAnI7xaI-1639060692966)(C:\Users\花孜然\AppData\Roaming\Typora\typora-user-images\image-20210617171951951.png)]$

4、配置 mapred-site.xml

先复制文件输入：

cp mapred-site.xml.template  mapred-site.xml

再输入：

sudo vim mapred-site.xml

在里面添加以下配置

     <property>
         <name>mapreduce.framework.name</name>
         <value>yarn</value>
     </property>

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3T7nBYRU-1639060692966)(C:\Users\花孜然\AppData\Roaming\Typora\typora-user-images\image-20210617172612574.png)]$

5、配置 yarn-site.xml

1、输入：

sudo vim yarn-site.xml

2、在里面添加以下配

      <property>
           <name>yarn.resourcemanager.hostname</name>
           <value>ubuntu</value>
     </property>
     <property>
           <name>yarn.nodemanager.aux-services</name>
           <value>mapreduce_shuffle</value>
     </property>

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-0YkTGY5b-1639060692967)(C:\Users\花孜然\AppData\Roaming\Typora\typora-user-images\image-20210617172924703.png)]$

6、格式化 HDFS 文件系统

输入：

hdfs namenode -format

7、启动 hadoop

输入：

start-all.sh

这是会输入多次密码

再输入：

jps

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-EtTLjYaP-1639060692968)(C:\Users\花孜然\AppData\Roaming\Typora\typora-user-images\image-20210617173237821.png)]$

8、查看ip

ifconfig

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-S5V5ada9-1639060692968)(C:\Users\花孜然\AppData\Roaming\Typora\typora-user-images\image-20210617173344895.png)]$

用浏览器测试一下是否启动成功

打开 window 浏览器

输入：192.168.28.130:50070

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-X2FqMqOk-1639060692968)(C:\Users\花孜然\AppData\Roaming\Typora\typora-user-images\image-20210617173505007.png)]$

成功！！！

hbase配置

一、下载hbase

地址：https://archive.apache.org/dist/hbase/1.2.6/

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-lpmLAf1q-1639060692969)(C:\Users\花孜然\AppData\Roaming\Typora\typora-user-images\image-20210617173747166.png)]$

二、文件上传解压

前面已有教程

输入：

tar -zxvf hbase-1.2.6-bin.tar.gz

设置快捷方式

ln -s hbase-1.2.6 hbase

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-YAMK6hvh-1639060692969)(C:\Users\花孜然\AppData\Roaming\Typora\typora-user-images\image-20210617173930375.png)]$

三、配置环境变量

输入

sudo vim ~/.bashrc

添加

export HBASE_HOME=~/hbase
export PATH=${HBASE_HOME}/bin:$PATH

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-gdXVxxRW-1639060692970)(C:\Users\花孜然\AppData\Roaming\Typora\typora-user-images\image-20210617174248126.png)]$

使环境变量生效

输入：

source ~/.bashrc

四、配置文件

设置 hbase 配置文件

先切换到 conf 文件夹下

输入：

cd hbase/conf/

输入：

ls

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Rm9huH4v-1639060692970)(C:\Users\花孜然\AppData\Roaming\Typora\typora-user-images\image-20210617175013945.png)]$

1、配置 hbase-env.sh 文件

输入：

sudo vim hbase-env.sh

$## [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jNt20fbd-1639060692971)(C:\Users\花孜然\AppData\Roaming\Typora\typora-user-images\image-20210617175311549.png)]$

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ySYCdWsR-1639060692972)(C:\Users\花孜然\AppData\Roaming\Typora\typora-user-images\image-20210617175449407.png)]$

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-RJ8NL9Pj-1639060692972)(C:\Users\花孜然\AppData\Roaming\Typora\typora-user-images\image-20210617175747094.png)]$

或者直接加：

 export JAVA_HOME=~/jdk
 export HBASE_MANAGES_ZK=false

这一步我没有注释

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-C9TyfBNq-1639060692973)(C:\Users\花孜然\AppData\Roaming\Typora\typora-user-images\image-20210622013045870.png)]$

2、配置 hbase-site.xml

输入：

sudo vim hbase-site.xml

这里搭建不出来！！我猜测下面这个是搭建真分布：

<property>
     <name>hbase.cluster.distributed</name><value>true</value>
</property>
<property>
    <name>hbase.rootdir</name>
    <value>hdfs://192.168.206.129:8020/hbase</value>
</property>
<property>
     <name>hbase.tmp.dir</name>
     <value>/home/x201/hbase/tmp</value>
</property>
<property>
      <name>hbase.zookeeper.property.dataDir</name>
      <value>hdfs://192.168.206.129:8020/zookeeper</value>
</property><property>
       <name>hbase.master.info.port</name>
        <value>60010</value>
</property>

所以我们换一下：

    <property>
        <name>hbase.rootdir</name>
        <value>file:///home/wang/hbase/hbase-tmp</value>
    </property>
        <property>
                <name>hbase.master.info.port</name>
                <value>60010</value>
      </property>

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-xRJUIjBB-1639060692973)(C:\Users\花孜然\AppData\Roaming\Typora\typora-user-images\image-20210622011502537.png)]$

启动 hbase

注意，启动前要先将 hadoop 启动(start-all.sh)，然后再启动 hbase，要不然会出错！！！！

输入：

start-hbase.sh

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-P0j1loaf-1639060692974)(C:\Users\花孜然\AppData\Roaming\Typora\typora-user-images\image-20210622011619942.png)]$

再输入：

jps

发现我们已经有了~~

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-2TFnXGiQ-1639060692974)(C:\Users\花孜然\AppData\Roaming\Typora\typora-user-images\image-20210622011631534.png)]$

如果出现下面这个错误：

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-k5eh7C9S-1639060692974)(C:\Users\花孜然\AppData\Roaming\Typora\typora-user-images\image-20210622021905480.png)]$

我们加入如下：

<property>
                <name>hbase.cluster.distributed</name>
               <value>true</value> 
</property>

再次启动Hbase

start-hbase.sh

我们进行测试：

http://192.168.206.128:60010/master-status

发现我们成功了~~~

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-vAGsQ24O-1639060692975)(C:\Users\花孜然\AppData\Roaming\Typora\typora-user-images\image-20210622011828078.png)]$

hbase基本操作

一、进入交互界面

hbase shell

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ZIVMqFtJ-1639060692976)(C:\Users\花孜然\AppData\Roaming\Typora\typora-user-images\image-20210622012104638.png)]$

二、进行一些基本数据库操作

1、创建表

使用create命令创建一个新表.你必须规定表名和列族名

create 'test', 'cf'

2、显示表信息

使用list 命令可以显示表信息

list 'test'

使用 describe 命令显示表的详细信息

describe 'test'

在这里插入图片描述

3、向表中加入数据

使用 put 命令

put 'test', 'row1', 'cf:a', 'value1'
put 'test', 'row2', 'cf:b', 'value2'
put 'test', 'row3', 'cf:c', 'value3'

4、扫描表

使用scan 命令扫描整个表取得数据

scan 'test'

5、取一行数据

使用get指令

get 'test', 'row1'

在这里插入图片描述

6、修改表模式

使用alter命令，如修改存储版本数

disable 'test'
alter 'test', NAME=>'cf',VERSIONS=>5
enable 'test'

在这里插入图片描述

三、其他命令

disable table, drop table,enable table 等

参考

https://blog.csdn.net/XY1790026787/article/details/116400418

大数据最新文章

实现Kafka至少消费一次

亚马逊云科技：还在苦于ETL？Zero ETL的时代

初探MapReduce

【SpringBoot框架篇】32.基于注解+redis实现

Elasticsearch：如何减少 Elasticsearch 集

Go redis操作

Redis面试题

专题五 Redis高并发场景

基于GBase8s和Calcite的多数据源查询

Redis——底层数据结构原理

加:2021-12-10 11:07:42 更:2021-12-10 11:08:59

360图书馆购物三丰科技阅读网日历万年历 2024年11日历

-2024/11/24 10:23:58-

图片自动播放器
↓图片自动播放器↓

TxT小说阅读器
↓语音阅读,小说下载,古典文学↓

一键清除垃圾
↓轻轻一点,清除系统垃圾↓

图片批量下载器
↓批量下载图片,美女图库↓

网站联系: qq:121756557 email:121756557@qq.com IT数码