1 整体流程概览
系统:windows10 下载hive --> MySQL配置 --> hive配置 --> 进入hive 前排提示,没有看上篇的朋友们可以先看上篇~ 大佬们有相关编写建议也可以多多指导!
2 HIVE下载
hive官网地址依次选择downloads ,Download a release now!
点击链接,进入下载界面 选择自己需要的版本 选择bin.tar.gz 文件进行下载 解压tar.gz文件到指定目录,这里贴上解压的路径,方便后续参考:D:\hive\hive\apache-hive-3.1.3-bin 该部分解压时目前没有用到管理员身份,有需要的朋友们可以参考winrar管理员身份解压
3 MySQL(免安装版,zip格式解压直用)
很早之前机试需要,在PC上搭建过MySQL,但不确定,因此这里检查一下。
3.1 系统中是否存在MySQL
win + R 输入services.msc
发现系统中已安装MySQL,强迫症原因同时为了文章的完整性,这里个人选择卸载重装,感兴趣的朋友可以浏览、收藏一下MySQL卸载流程
3.2 MySQL下载
MySQL官网地址
直接下载即可,完成后解压至与Hive相同的路径下,方便后续管理与操作
3.3 MySQL初始化
- 解压完成后,
win + s 输入cmd ,右击后选择以管理员方式打开 ,随后进入到MySQL的bin 目录下
- 初始化数据库:
mysqld --initialize --console ,这里生成的密码需要先记一下,这里的冒号也是密码的一部分
- 使用MySQL安装windows服务:
mysqld -install ,随后使用net start mysql 启动MySQL服务
win + R 输入services.msc ,发现已经存在
- 使用步骤2中记忆的密码登录数据库:
mysql -u root -p
- 修改密码:
alter user 'root'@'localhost' identified by 'new_password'; ,首先分号不能忘记,其次新密码要加引号
- 查看端口号:
show global variables like 'port';
3.4 MySQL其它配置(选做)
3.4.1 系统变量配置
配置完成后可在cmd中直接进入mysql,无需cd至指定bin目录下,先配置系统变量
配置环境变量 验证配置结果,win + r 输入cmd ,输入mysql -u root -p ,可正常运行即算成功
3.4.2 端口配置文件
文件夹路径:D:\hive\hive\mysql-8.0.29-winx64
- 打开文件名拓展
- 新建txt文件,重命名为
my.ini
- 编辑
my.ini 文件内容如下:(port 那里可以设置为其它,验证文件是否生效,默认3306)
[mysqld]
character-set-server=utf8mb4
bind-address=0.0.0.0
port=3308
default-storage-engine=INNODB
[mysql]
default-character-set=utf8mb4
[client]
default-character-set=utf8mb4
port=3308
net stop mysql 、net start mysql 重启MySQL ,cmd中输入show global variables like 'port'; 验证端口已修改成功
4 下载MySQL驱动
MySQL驱动官网 下载完成后解压至hive同路径处
将D:\hive\hive\mysql-connector-java-8.0.11\ 下的.jar 拷贝至D:\hive\hive\apache-hive-3.1.3-bin
5 hive配置
5.1 hive变量配置
首先配置系统变量 随后配置环境变量 这里不明白如何打开的朋友请参考上篇安装教程中的环境配置哦
5.2 hive其它配置
5.2.1 config文件
路径:D:\hive\hive\apache-hive-3.1.3-bin\conf ,将图中箭头所示文件复制一份,去掉.template 后缀
5.2.2 文件夹创建
D:\hive\hive\apache-hive-3.1.3-bin\my_hive
D:\hive\hive\apache-hive-3.1.3-bin\my_hive\operation_logs_dir
D:\hive\hive\apache-hive-3.1.3-bin\my_hive\querylog_dir
D:\hive\hive\apache-hive-3.1.3-bin\my_hive\resources_dir
D:\hive\hive\apache-hive-3.1.3-bin\my_hive\scratch
5.2.3 hive-env.sh文件配置
文件路径:D:\hive\hive\apache-hive-3.1.3-bin\conf
5.2.4 hive-site.xml配置
文件路径:D:\hive\hive\apache-hive-3.1.3-bin\conf ,不存在的话复制hive-default.xml 即可
- scratch路径设置:
D:\hive\hive\apache-hive-3.1.3-bin\my_hive\scratch_dir ,复制下面的内容,Ctrl + f 搜索即可
hive.exec.local.scratchdir
- resources路径设置:
D:\hive\hive\apache-hive-3.1.3-bin\my_hive\resources_dir
- querylog路径设置:
D:\hive\hive\apache-hive-3.1.3-bin\my_hive\querylog_dir ,复制下面的内容,Ctrl + f 搜索即可
hive.querylog.location
- querylog路径设置:
D:\hive\hive\apache-hive-3.1.3-bin\my_hive\operation_logs_dir ,复制下面的内容,Ctrl + f 搜索即可
hive.server2.logging.operation.log.location
5.2.5 hive-site.xml中sql相关配置
mysql 配置情况: 账户:root 密码:自设 端口:3308
- sql账户设置,复制下面的内容,
Ctrl + f 搜索即可
javax.jdo.option.ConnectionUserName
- sql密码设置,复制下面的内容,
Ctrl + f 搜索即可
javax.jdo.option.ConnectionPassword
- sql端口设置,复制下面的内容,
Ctrl + f 搜索即可
javax.jdo.option.ConnectionURL
5.3 hadoop创建hdfs目录
- 启动hadoop,以管理员身份运行cmd,切换至
D:\hive\hadoop\hadoop-3.2.3\sbin 目录下,输入start-all.cmd ,随后输入jps 查看服务启动情况 - 创建文件夹
相关操作在切换至指定目录后可直接cv
hadoop fs -mkdir /tmp
hadoop fs -mkdir /user/
hadoop fs -mkdir /user/hive/
hadoop fs -mkdir /user/hive/warehouse
hadoop fs -chmod g+w /tmp
hadoop fs -chmod g+w /user/hive/warehouse
创建完毕后记得将命令提示符窗口全部叉掉,否则后续报错
6 点火,发射!
6.1 创建mysql数据库
使用mysql 创建一个数据库(在完成本文3.4的基础上)
create database if not exists ds_name default character set latin1;
6.2 启动hadoop
- 以管理员身份运行cmd,切换至
D:\hive\hadoop\hadoop-3.2.3\sbin 目录下,输入start-dfs.cmd - 继续输入指令
hive --service metastore - 以管理员身份运行cmd,输入
hive.cmd ,即可进入hive环境
附:报错记录
- 报错
'hive' 不是内部或外部命令,也不是可运行的程序 ,原因是hive3.0+的\bin 文件夹下缺少相关cmd 文件
解决方法:使用Github中大佬整理好的bin包,解压后将D:\hive\hive\Hive-cmd-master\bin 中的文件复制到D:\hive\hive\apache-hive-3.1.3-bin\bin 即可
- 运行指令
hive --service metastore 报错
解决方法:hive-site.xml 文件的错误,在百度上google了一下,注释掉这段(文件路径:D:\hive\hive\apache-hive-3.1.3-bin\conf ) 没有自带行号的朋友可以复制下面内容直接搜索:hive.txn.xlock.iow
- 运行指令
hive --service metastore 报错
解决方法:缺少jdbc驱动,感谢大佬指路,下载jdbc包 然后拷贝至D:\hive\hive\apache-hive-3.1.3-bin\lib 即可,再次运行指令hive --service metastore (此时已来到Hive环境配置的第3天)
- 报错
Could not connect to address ... RSA public key is not available client side...
解决方法:修改MySQL认证方式,感谢大佬指路
- HIVE学习系列——windows Hadoop安装(上)
- 重要参考,感谢大佬指路
|