Flink SQL整合Hive
1、将整合需要的jar上传到flink的lib目录
flink-sql-connector-hive-1.2.2_2.11-1.11.0.jar
hive-exec-1.2.1.jar
hive-metastore-1.2.1.jar
上传jar 之后需要重新启动yarn-session.sh
yarn application -kill appid
yarn-session.sh -jm 1024m -tm 1024m
2、启动hive元数据服务
hive --service metastore
3、修改SQL客户端配置文件
如果需要在sql-client中使用hive的catalog则修改
使用代码不需要修改该配置
cd /usr/local/soft/flink-1.11.2/conf
vim sql-client-defaults.yaml
# 找到对应位置加入以下配置
catalogs:
- name: myhive
type: hive
hive-conf-dir: /usr/local/soft/hive-1.2.1/conf
default-database: default
4、在SQL客户端中使用hive的catalog
sql-client.sh embedded
# 查看有哪些catalog可以使用
show catalogs;
# 切换元数据
USE catalog myhive;
注意：
1.在flink中创建的表在hive中可以查看，但不能查询数据，hive中的表在flink中可以查询
2.SQL客户端不能开启checkpoint 只能用于测试，在代码中写sql可以在前面开启checkpoint实现容错
|