IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> HIVE学习系列——windows Hadoop安装(下) -> 正文阅读

[大数据]HIVE学习系列——windows Hadoop安装(下)


1 整体流程概览

系统:windows10
下载hive --> MySQL配置 --> hive配置 --> 进入hive
前排提示,没有看上篇的朋友们可以先看上篇~
大佬们有相关编写建议也可以多多指导!

  • !!!原版本采用hadoop3.2.3hive3.1.3,但在执行至hive --service metastore时报错,主要因为hadoop与hive版本不匹配,导致jdbc在连接至数据库时发生错误。5.1假期追剧太狠,😔 所以先更换版本为hadoop2.7.7hive2.1.1!!!
  • 教程中路径还须修正,主要是版本号的对应

2 HIVE下载

hive官网地址依次选择downloadsDownload a release now!

在这里插入图片描述
点击链接,进入下载界面
在这里插入图片描述
选择自己需要的版本
在这里插入图片描述
选择bin.tar.gz文件进行下载
在这里插入图片描述
解压tar.gz文件到指定目录,这里贴上解压的路径,方便后续参考:D:\hive\hive\apache-hive-3.1.3-bin
该部分解压时目前没有用到管理员身份,有需要的朋友们可以参考winrar管理员身份解压
在这里插入图片描述


3 MySQL(免安装版,zip格式解压直用)

很早之前机试需要,在PC上搭建过MySQL,但不确定,因此这里检查一下。

3.1 系统中是否存在MySQL

win + R输入services.msc

在这里插入图片描述
发现系统中已安装MySQL,强迫症原因同时为了文章的完整性,这里个人选择卸载重装,感兴趣的朋友可以浏览、收藏一下MySQL卸载流程

3.2 MySQL下载

MySQL官网地址

在这里插入图片描述
直接下载即可,完成后解压至与Hive相同的路径下,方便后续管理与操作

3.3 MySQL初始化

  1. 解压完成后,win + s输入cmd,右击后选择以管理员方式打开,随后进入到MySQL的bin目录下

在这里插入图片描述

  1. 初始化数据库:mysqld --initialize --console这里生成的密码需要先记一下,这里的冒号也是密码的一部分

在这里插入图片描述

  1. 使用MySQL安装windows服务:mysqld -install,随后使用net start mysql启动MySQL服务

在这里插入图片描述
win + R输入services.msc,发现已经存在
在这里插入图片描述

  1. 使用步骤2中记忆的密码登录数据库:mysql -u root -p

在这里插入图片描述

  1. 修改密码:alter user 'root'@'localhost' identified by 'new_password';,首先分号不能忘记,其次新密码要加引号

在这里插入图片描述

  1. 查看端口号:show global variables like 'port';

在这里插入图片描述

3.4 MySQL其它配置(选做)

3.4.1 系统变量配置

配置完成后可在cmd中直接进入mysql,无需cd至指定bin目录下,先配置系统变量

在这里插入图片描述
配置环境变量
在这里插入图片描述
验证配置结果,win + r输入cmd,输入mysql -u root -p,可正常运行即算成功

3.4.2 端口配置文件

文件夹路径:D:\hive\hive\mysql-8.0.29-winx64

  1. 打开文件名拓展

在这里插入图片描述

  1. 新建txt文件,重命名为my.ini

在这里插入图片描述

  1. 编辑my.ini文件内容如下:(port那里可以设置为其它,验证文件是否生效,默认3306)
[mysqld]
character-set-server=utf8mb4
bind-address=0.0.0.0
port=3308
default-storage-engine=INNODB
[mysql]
default-character-set=utf8mb4
[client]
default-character-set=utf8mb4
port=3308
  1. net stop mysqlnet start mysql重启MySQL,cmd中输入show global variables like 'port';验证端口已修改成功

在这里插入图片描述


4 下载MySQL驱动

MySQL驱动官网
下载完成后解压至hive同路径处

在这里插入图片描述
D:\hive\hive\mysql-connector-java-8.0.11\下的.jar拷贝至D:\hive\hive\apache-hive-3.1.3-bin
在这里插入图片描述

5 hive配置

5.1 hive变量配置

首先配置系统变量
在这里插入图片描述
随后配置环境变量
在这里插入图片描述
这里不明白如何打开的朋友请参考上篇安装教程中的环境配置哦

5.2 hive其它配置

5.2.1 config文件

路径:D:\hive\hive\apache-hive-3.1.3-bin\conf,将图中箭头所示文件复制一份,去掉.template后缀

在这里插入图片描述

5.2.2 文件夹创建

在这里插入图片描述

D:\hive\hive\apache-hive-3.1.3-bin\my_hive
D:\hive\hive\apache-hive-3.1.3-bin\my_hive\operation_logs_dir
D:\hive\hive\apache-hive-3.1.3-bin\my_hive\querylog_dir
D:\hive\hive\apache-hive-3.1.3-bin\my_hive\resources_dir
D:\hive\hive\apache-hive-3.1.3-bin\my_hive\scratch

5.2.3 hive-env.sh文件配置

文件路径:D:\hive\hive\apache-hive-3.1.3-bin\conf
在这里插入图片描述

5.2.4 hive-site.xml配置

文件路径:D:\hive\hive\apache-hive-3.1.3-bin\conf,不存在的话复制hive-default.xml即可

  1. scratch路径设置:D:\hive\hive\apache-hive-3.1.3-bin\my_hive\scratch_dir,复制下面的内容,Ctrl + f搜索即可
hive.exec.local.scratchdir
  1. resources路径设置:D:\hive\hive\apache-hive-3.1.3-bin\my_hive\resources_dir

在这里插入图片描述

  1. querylog路径设置:D:\hive\hive\apache-hive-3.1.3-bin\my_hive\querylog_dir,复制下面的内容,Ctrl + f搜索即可
hive.querylog.location

在这里插入图片描述

  1. querylog路径设置:D:\hive\hive\apache-hive-3.1.3-bin\my_hive\operation_logs_dir,复制下面的内容,Ctrl + f搜索即可
hive.server2.logging.operation.log.location

在这里插入图片描述

5.2.5 hive-site.xml中sql相关配置

mysql配置情况:
账户:root
密码:自设
端口:3308

  1. sql账户设置,复制下面的内容,Ctrl + f搜索即可
javax.jdo.option.ConnectionUserName

在这里插入图片描述

  1. sql密码设置,复制下面的内容,Ctrl + f搜索即可
javax.jdo.option.ConnectionPassword

在这里插入图片描述

  1. sql端口设置,复制下面的内容,Ctrl + f搜索即可
javax.jdo.option.ConnectionURL

在这里插入图片描述


5.3 hadoop创建hdfs目录

  1. 启动hadoop,以管理员身份运行cmd,切换至D:\hive\hadoop\hadoop-3.2.3\sbin目录下,输入start-all.cmd,随后输入jps查看服务启动情况
  2. 创建文件夹
    相关操作在切换至指定目录后可直接cv
hadoop fs -mkdir /tmp
hadoop fs -mkdir /user/
hadoop fs -mkdir /user/hive/
hadoop fs -mkdir /user/hive/warehouse
hadoop fs -chmod g+w /tmp
hadoop fs -chmod g+w /user/hive/warehouse

在这里插入图片描述

创建完毕后记得将命令提示符窗口全部叉掉,否则后续报错

6 点火,发射!

6.1 创建mysql数据库

使用mysql创建一个数据库(在完成本文3.4的基础上)

create database if not exists ds_name default character set latin1;
--ds_name为自行指定的dataset名
--指令输入时切记还有分号

在这里插入图片描述

6.2 启动hadoop

  • 以管理员身份运行cmd,切换至D:\hive\hadoop\hadoop-3.2.3\sbin目录下,输入start-dfs.cmd
  • 继续输入指令hive --service metastore
  • 以管理员身份运行cmd,输入hive.cmd,即可进入hive环境

在这里插入图片描述


附:报错记录

  • 报错'hive' 不是内部或外部命令,也不是可运行的程序,原因是hive3.0+的\bin文件夹下缺少相关cmd文件

解决方法:使用Github中大佬整理好的bin包,解压后将D:\hive\hive\Hive-cmd-master\bin中的文件复制到D:\hive\hive\apache-hive-3.1.3-bin\bin即可
在这里插入图片描述
在这里插入图片描述

  • 运行指令hive --service metastore报错

在这里插入图片描述
解决方法:hive-site.xml文件的错误,在百度上google了一下,注释掉这段(文件路径:D:\hive\hive\apache-hive-3.1.3-bin\conf
没有自带行号的朋友可以复制下面内容直接搜索:hive.txn.xlock.iow
在这里插入图片描述

  • 运行指令hive --service metastore报错

在这里插入图片描述
解决方法:缺少jdbc驱动,感谢大佬指路,下载jdbc包然后拷贝至D:\hive\hive\apache-hive-3.1.3-bin\lib即可,再次运行指令hive --service metastore(此时已来到Hive环境配置的第3天)

  • 报错Could not connect to address ... RSA public key is not available client side...

解决方法:修改MySQL认证方式,感谢大佬指路


  1. HIVE学习系列——windows Hadoop安装(上)
  2. 重要参考,感谢大佬指路
  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2022-05-06 11:06:45  更:2022-05-06 11:08:37 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/24 1:10:08-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码