一.onYarn模式
把资源管理器交给yarn模式进行管理
1.两种运行模式
1）session-cluster模式
session：会话，开辟一块新的公共的空间
先启动集群，直接向yarn申请空间，资源（session）保持不变，这个集群会常驻在yarn的集群中，不需要时进行手动停止，job任务可以向这个session提交，所有任务共享这个session，如果资源用完，需要等待之间的任务执行完毕释放资源才可以使用。
例：有100个工人，装修公司有5家，a公司有30人，b公司有10人等，a公司不同任务分配一定数量的工作人员，如果a公司人员分配完后，又新来一个job任务，这个任务只能等待之前的任务结束释放人员后，才能使用。
适合场景：规模小，数据量不大，执行时间短的小任务
2）per-job-cluster模式
启动服务不会默认开启任何集群，提交job任务的时候才分配资源，每个job任务都会对应一个小集群，单独申请，与其它job任务无关，job任务执行完毕后自动释放资源。（动态分配）
例：100人去打乒乓球，球只有10个，球不够就增加球，球多了就释放球
适合场景：规模大，数据量较大，执行时间较长的任务
二.flink的jar包问题
flink的jar下载路径：Apache Flink: Downloadshttps://flink.apache.org/downloads.html#apache-flink-1144
flink的onYarn模式需要用到hadoop，所以需要添加hadoop的支持
?1）flink1.8（不包含）版本之前，直接下载flink-xxx-hadoop-xxx.jar
?
?2)flink1.8-1.10版本，flink不包含hadoop的内容，下载需要的hadoop版本，放到flink的 lib/ 目录下
?3) flink1.10版本后，直接把hadoop casspath设置到环境变量中
三.搭配环境变量?
? ?步骤
? ? ?a. 把hadoop casspath设置到环境变量中
#在家目录下
vi .bashrc
#添加
export HADOOP_CLASSPATH=`hadoop classpath`
source .bashrc? ? ?b.? 修改配置文件 ， flink/conf/下，修改master，worker
#修改主节点配置文件
vi masters
主节点（node160）：8081
#修改从节点
vi workers
从节点（node181）? ? ?c. 启动hadoop服务
start-all.sh? ? ? ? ? jps，检验是否启动成功，成功如下显示??
? ? ? d.? 提交flink任务
? ? ? ? ? ? 1）.session-cluster模式?
? ? ? ? ? ? ? ? ? ?a.提交job任务前先开启session集
${FLINK_HOME}/bin/yarn-session.sh -n 1 -s 2 -jm 1024 -tm 1024 -nm xxx -d
-n TaskManager的数量
-s 每个TaskManager上的slot的数量
-jm JobManager的内存
-tm TaskManager的内存
-nm yarn的AppName? ? ? ? ? ? ? ? ? ?注意：如果这里报错信息如下，则是安全模式没有关闭
Caused by: org.apache.hadoop.ipc.RemoteException: Cannot create directory /user/bduser/.flink/application_1653643891961_0002. Name node is in safe mode.
? ? ? ? ? ? ? ? ? ? ?关闭安全模式
hdfs dfsadmin -safemode leave
? ? ? ? ? ? ? ? ? ? ?查看session是否开启，另开一个窗口
? ? ? ? ? ? ? ? ? ??
? ? ? ? ? ? ? ?b.查看webUI ->在浏览器中输入 IP地址：8088 -> 进入
? ? ? ? ? ? ? ? ? ?
? ? ? ? ? ? ? ? ??
? ? ? ? ? ? ? ?c. 提交任务 -> 开启两个端口 -> 一个提交任务，一个开启8888端口
flink run -c Demo2_WordCount_DataStream -p 1 ./file/flink/myScala-1.0-SNAPSHOT.jar --host node160 --port 8888
#开启端口
nc -lk 8888? ? ? ? ? ? ? ? d.查看结果
? ? ? ? ? ? ? ? ? ?（1）在8888端口输入内容
? ? ? ? ? ? ? ? ? ? ? ? ? ?
? ? ? ? ? ? ? ? ? ? ?(2)进入webUI，进入方法在b条，查看结果
? ? ? ? ? ? ? ? ? ? ? ?
? ? ? ? ? ? ? ? ? ?? ??
? ? ? ? ? ? ? ? ?e.取消任务
flink cancel JobID? ? ? ? ? ? ? ? ? ? (1) JobID位置? ?Running Jobs -> 点击任务 -> 复制IP地址
? ? ? ? ? ? ? ? ? ? ? ? ?
? ? ? ? ? ? ? ? ? ? ? ? ?
? ? ? ? ? ? ? ? f.关闭session
yarn application -kill applicationID? ? ? ? ? ? ? ? ? ? ?(1) applicationID位置
? ? ? ? ? ? ? ? ? ? ? ? ?
? ? ? ??? 1）per-job-cluster模式
? ? ? ? ? ? ? ?直接提交任务，自动在yarn集群中申请资源
? ? ? ? ? ? ? ?a.开启8888端口 （提交任务后再端口输入内容）
nc -lk 8888? ? ? ? ? ? ? ?b.提交任务
flink run -m yarn-cluster -c 类的全路径 -p 并行度 jar包的完整路径 参数
例： flink run -m yarn-cluster -c Demo2_WordCount_DataStream -p 1 ./file/flink/myScala-1.0-SNAPSHOT.jar --host node160 --port 8888
? ? ? ? ? ? ? ? c.查看jps
? ? ? ? ? ? ? ? ? ??
? ? ? ? ? ? ? ? d.查看webUI结果
? ? ? ? ? ? ? ? ? ?
? ? ? ? ? ? ?? ? ? ?
? ? ? ? ? ? ? ? ? ??
? ? ? ? ? ? ? ? e.取消任务
flink calcel ID
? ? ? ? ? ? ? ? ? ??
? ? ?e.以上都可以出来则环境搭配成功，最后关闭集群
start-hadoop.sh?
? ? ? ? ? ? ? ?
?
