第一步环境准备
前提环境:hadoop zookeeper 环境准备,本篇是flink jobManager HA集群搭建,hadoop zookeeper就不多做赘述
准备四台服务器:node100 node101 node102 node103
jobManager:node100 node101
taskManager:node101 node102 node103
本篇讲述的Flink 版本为 1.9.2
安装步骤
第一步 修改配置文件conf/flink-conf.yaml
high-availability: zookeeper
high-availability.storageDir: hdfs://node100:9000/flink/ha/ 保存JobManager恢复
所需要的所有元数据信息
high-availability.zookeeper.quorum: node100:2181,node101:2181,node102:2181
zookeeper地址
第二步 修改配置文件conf/masters
node100:8081
node101:8081
同步文件到各个节点
下载支持Hadoop插件并且拷贝到各个节点的安装包的lib目录下
https://repo.maven.apache.org/maven2/org/apache/flink/flink-shaded-hadoop-2-
uber/2.6.5-10.0/flink-shaded-hadoop-2-uber-2.6.5-10.0.jar
集群HA测试
HA集群测试
http://node01:8081/
http://node02:8081/
两个页面一模一样 存在bug
如上图所示 Flink 1.9.2版本 web页面存在点小bug,看不出来那个是主哪个是从
|