IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> 大数据姊妹篇之Hive -> 正文阅读

[大数据]大数据姊妹篇之Hive

Hive官网

  1. Hive官网文档可以全方位,多角度的诠释一门技术,就是有点费时间,还是建议先看视频入门,然后再看书,或者文档.

Hive概述

  1. Apache Hive ?是一款建立在Hadoop之上的开源数据仓库,可以将存储在Hadoop文件中的结构化、半结构化数据文件映射为一张数据库表,基于表提供了一种类似SQL的查询模型,称为Hive查询语言(HQL),用于访问和分析存储在Hadoop文件中的大型数据集.
  2. HQL可以把sql转换为map-reduce执行,爽的一批.
    在这里插入图片描述

Hive安装部署

  1. 服务器基础环境
    1. hadoop集群环境

    2. mysql安装

    3. Hive安装包下载, 这里以3.1.2为例,下载到/opt/software目录,解压到/opt/module目录,并重命名为hive-3.1.2

    4. 配置环境变量: vi /etc/profile, 编辑完成后 source/etc/profile使环境变量生效

      # Hive Home
      export HIVE_HOME=/opt/module/hive-3.1.2
      export PATH=$HIVE_HOME/bin:$HIVE_HOME/sbin:$PATH
      
    5. 进入到conf目录下: cd /opt/module/hive-3.1.2/conf

    6. 脚本重命名并添加内容, 1. cp hive-env.sh.template hive-env.sh 2. vi hive-env.sh

      export HADOOP_HOME=/opt/module/hadoop-3.2.2/ 
      export HIVE_CONF_DIR=/opt/module/hive-3.1.2/conf/
      export HIVE_AUX_JARS_PATH=/opt/module/hive-3.1.2/lib
      
    7. 解决jar包冲突问题

      cd /opt/module/hive-3.1.2
      rm -rf lib/guava-19.0.jar
      cp /opt/module/hadoop-3.2.2/share/hadoop/common/lib/guava-27.0-jre.jar ./lib/
      
    8. 解决hdfs的访问权限配置信息,vi /opt/module/hadoop-3.2.2/etc/hadoop/core-site.xml 然后重新启动dfs,yarn (具体参考hadoop集群搭建)

      <property>
      <name>dfs.permissions.enabled</name>
      <value>false</value>
      </property>
      
      <property>
      <name>hadoop.proxyuser.root.hosts</name>
      <value>*</value>
      </property>
      
      <property>
      <name>hadoop.proxyuser.root.groups</name>
      <value>*</value>
      </property>
      
      
    9. 拷贝mysql驱动包到hive的lib目录下

    10. 在本目录下创建配置文件, vi hive-site.xml 内容如下:

      <configuration>
      <!-- 记录HIve中的元数据信息  记录在mysql中 -->
      <property>
      <name>javax.jdo.option.ConnectionURL</name>
      <value>jdbc:mysql://server1:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false</value>
      </property>
      
      <!-- jdbc mysql驱动 -->
      <property>
      <name>javax.jdo.option.ConnectionDriverName</name>
      <value>com.mysql.jdbc.Driver</value>
      </property>
      
      <!-- mysql的用户名和密码 -->
      <property>
      <name>javax.jdo.option.ConnectionUserName</name>
      <value>root</value>
      </property>
      <property>
      <name>javax.jdo.option.ConnectionPassword</name>
      <value>Dd123=123</value>
      </property>
      
      <!-- 设置metastore的节点信息 -->
      <property>
      <name>hive.metastore.uris</name>
      <value>thrift://server1:9083</value>
      </property>
      
      <!-- H2S运行绑定host -->
      <property> 
      <name>hive.server2.thrift.bind.host</name> 
      <value>server1</value>
      </property>
      
      <!-- 关闭元数据存储授权 -->
      <property> 
      <name>hive.metastore.event.db.notification.api.auth</name> 
      <value>false</value>
      </property>
      
      <!-- 关闭元数据存储版本的验证 -->
      <property> 
      <name>hive.metastore.schema.verification</name> 
      <value>false</value>
      </property>
      </configuration>
      
    11. 初始化hive, 在hive的bin目录下执行

      ./schematool -initSchema -dbType  mysql
      
    12. 启动成功
      在这里插入图片描述

Hive的命令行操作

  1. 进入到hive的bin目录, 启动metastore服务并且设置后台启动nohup hive --service metastore &
  2. 接着执行hive
    1. show databases;
      在这里插入图片描述
  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2021-09-13 09:20:26  更:2021-09-13 09:22:17 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/23 19:47:29-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码