软件开发教程 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试
游戏开发 网络协议 系统运维 HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程
C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
 
   -> 大数据 -> Hive的安装与运行 -> 正文阅读

[大数据]Hive的安装与运行

实验环境与安装文件

名称版本说明
CentOS7操作系统选用了CentOS 7
JDKJava2SE(build1.8.0_291)JDK选用了Oracle J2SE 8的最终稳定版
Hadoop2.10.1Hadoop2的稳定版2.10.1
Hive2.3.9Hive最新稳定版

实验环境准备

  • 默认已经安装好Hadoop
  • Hive下载
  • apache-hive-2.3.9-bin.tar.gz压缩文件
  • 推荐用FileZilla将Hive安装文件上传至CentOS 7的/usr目录
  • 解压并重命名,同时将hive目录的用户设为hadoop
su
cd /usr
tar xzvf apache-hive-2.3.9-bin.tar.gz
mv apache-hive-2.3.9-bin hive
chown -R hadoop hive

配置Hive环境变量

配置/etc/profile文件,设置目录和PATH

vim /etc/profile
  • 添加如下信息
export HIVE_HOME=/usr/hive
export PATH=$PATH:$HIVE_HOME/bin

然后使配置文件生效

source /etc/profile

Hive运行之前的配置

修改core-site.xml

  • 需要修改hadoop配置文件夹下面的core-site.xml中的内容,不然最后jdbc:hive2://localhost:10000会拒绝连接
vim $HADOOP_HOME/etc/hadoop/core-site.xml
  • 在configuration标签内加入下面的内容:
  <property>
    <name>hadoop.proxyuser.hadoop.hosts</name>
    <value>*</value>
  </property>
  <property>
    <name>hadoop.proxyuser.hadoop.groups</name>
    <value>*</value>
  </property>

切换到hadoop账户($提示符下)、并启动hadoop等进程

su hadoop
start-all.sh
mr-jobhistory-daemon.sh start historyserver

查看hadoop进程

  • 首先运行jps命令,查看正在运行的进程
jps
  • 如果Hadoop成功运行,应该显示6个守护进程(不包括Jps)

DataNode
SecondaryNameNode
JobHistoryServer
NameNode
ResourceManager
NodeManager

运行HDFS的命令,创建目录并设置权限

hadoop fs -mkdir /user
hadoop fs -mkdir /user/hive
hadoop fs -mkdir /user/hive/warehouse
hadoop fs -chmod 777 /tmp
hadoop fs -chmod 777 /user/hive/warehouse

运行Hive

hive

Hive成功运行后,会进入到Hive的命令行界面(CLI)
Hive CLI
退出Hive

quit;

Running HiveServer2 and Beeline

cd $HIVE_HOME/bin
schematool -dbType derby -initSchema

初始化derby数据库

  • 验证
schematool -verbose -validate -dbType derby

验证

  • Running HiveServer2
hiveserver2
  • 这个时候你的页面会一直卡在这里,这是正常的,因为你是启动了一个服务,这时你需要打开一个新的终端
    HiveServer2
  • 打开一个新的终端
su hadoop
/usr/hive/bin/beeline -u jdbc:hive2://localhost:10000

Beeline CLI

  • Hive的使用我们都在Beeline CLI里操作而不是Hive CLI

  大数据 最新文章
Zookeeper做配置中心
kafka安装和学习使用
spring-kafka消费者源码分析
实现flink自定义幂等写入ClickHouse,并封装
Flink CDC 2.0 设计方案
hadoop如何关闭namenode和datanode
Kafka基本命令
Flink on Zeppelin 流计算处理最佳实践
(尚硅谷)springData 集成 Elasticsearch
大数据hadoop hdfs 读写流程
上一篇文章           查看所有文章
加:2021-07-17 11:59:21  更:2021-07-17 12:03:37 
 
360图书馆 购物 三丰科技 阅读网 日历 万年历 2021年7日历 -2021/7/27 4:52:35-
图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  软件开发教程