Flink 部署
下载：https://archive.apache.org/dist/flink/flink-1.10.1/
Standalone 模式
解压缩 flink-1.10.1-bin-scala_2.12.tgz，进入 conf 目录中。
修改 flink/conf/flink-conf.yaml
jobmanager.rpc.address: hadoop101
修改 /conf/slaves 文件
hadoop102
hadoop103
分发给另外两台机子
xsync flink/
启动：[hadoop@hadoop101 flink]$ bin/start-cluster.sh
[hadoop@hadoop101 flink]$ jpsall
=============== hadoop101 ===============
8374 StandaloneSessionClusterEntrypoint
8441 Jps
=============== hadoop102 ===============
8266 Jps
8203 TaskManagerRunner
=============== hadoop103 ===============
8177 TaskManagerRunner
8237 Jps
访问 http://hadoop101:8081 可以对 flink 集群和任务进行监控管理。
提交任务
网页版
[hadoop@hadoop101 flink]$ nc -lk 7777
命令行
上传jar包
执行命令 ：
提交任务
[hadoop@hadoop101 flink]$ ./bin/flink run -c com.xiaoqiu.wc.StreamWordCountLinux -p 1 /opt/module/flink/examples/WordCount-1.0.jar --host hadoop101 --port 7777
Job has been submitted with JobID 553160774a7a53f047fad52da080940c
开启窗口，传入数据
[hadoop@hadoop101 flink]$ nc -lk 7777
查看正在执行的任务
[hadoop@hadoop101 flink]$ ./bin/flink list
查看所有状态的任务
[hadoop@hadoop101 flink]$ ./bin/flink list -a
取消正在执行的任务
[hadoop@hadoop101 flink]$ ./bin/flink cancel jobID
Yarn 模式
以 Yarn 模式部署 Flink 任务时，要求 Flink 是有 Hadoop 支持的版本， Hadoop环境需要保证版本在 2.2 以上，并且集群中安装有 HDFS 服务。
Flink on Yarn
Flink 提供了两种在 yarn 上运行的模式，分别为 Session-Cluster 和 Per-Job-Cluster模式。
1)Session-cluster 模式：
Session-Cluster 模式需要先启动集群，然后再提交作业，接着会向 yarn 申请一块空间后，资源永远保持不变。如果资源满了，下一个作业就无法提交，只能等到yarn 中的其中一个作业执行完成后， 释放了资源， 下个作业才会正常提交。所有作业共享 Dispatcher 和 ResourceManager；共享资源；适合规模小执行时间短的作业。
在 yarn 中初始化一个 flink 集群，开辟指定的资源，以后提交任务都向这里提交。这个 flink 集群会常驻在 yarn 集群中， 除非手工停止。
2)Per-Job-Cluster模式：
一个 Job 会对应一个集群，每提交一个作业会根据自身的情况，都会单独向 yarn 申请资源，直到作业执行完成，一个作业的失败与否并不会影响下一个作业的正常提交和运行。独享 Dispatcher 和 ResourceManager，按需接受资源申请；适合规模大长时间运行的作业。
每次提交都会创建一个新的 flink 集群，任务之间互相独立，互不影响，方便管理。任务执行完成之后创建的集群也会消失。
Session Cluster
1)启动 hadoop 集群（略）
2)启动 yarn-session
./yarn-session.sh -n 2 -s 2 -jm 1024 -tm 1024 -nm test -d
其中：
-n(–container)： TaskManager 的数量。
-s(–slots)： 每个 TaskManager 的 slot 数量，默认一个 slot 一个 core，默认每个taskmanager 的 slot 的个数为 1， 有时可以多一些 taskmanager，做冗余。
-jm： JobManager 的内存（ 单位 MB)。
-tm：每个 taskmanager 的内存（单位 MB)。
-nm： yarn 的 appName(现在 yarn 的 ui 上的名字)。
-d：后台执行。
3)执行任务
flink run -c com.xiaoqiu.wc.StreamWordCountLinux /opt/module/flink/examples/WordCount-1.0.jar --host lcoalhost --port 7777
4)取消 yarn-session
yarn application --kill application_1577588252906_0001
Per Job Cluster
1)启动 hadoop 集群（略）
2)不启动 yarn-session， 直接执行 job
flink run –m yarn-cluster -c com.xiaoqiu.wc.StreamWordCountLinux /opt/module/flink/examples/WordCount-1.0.jar --host lcoalhost --port 7777
Kubernetes 部署
容器化部署时目前业界很流行的一项技术，基于 Docker 镜像运行能够让用户更加方便地对应用进行管理和运维。容器管理工具中最为流行的就是 Kubernetes（ k8s），而 Flink 也在最近的版本中支持了 k8s 部署模式。
1）搭建 Kubernetes 集群（略）
2）配置各组件的 yaml 文件
在 k8s 上构建 Flink Session Cluster，需要将 Flink 集群的组件对应的 docker 镜像分别在 k8s 上启动， 包括 JobManager、TaskManager、JobManagerService 三个镜像服务。每个镜像服务都可以从中央镜像仓库中获取。
3）启动 Flink Session Cluster
// 启动 jobmanager-service 服务
kubectl create -f jobmanager-service.yaml
// 启动 jobmanager-deployment 服务
kubectl create -f jobmanager-deployment.yaml
// 启动 taskmanager-deployment 服务
kubectl create -f taskmanager-deployment.yaml
4）访问 Flink UI 页面
集群启动后，就可以通过 JobManagerServicers 中配置的 WebUI 端口，用浏览器输入以下 url 来访问 Flink UI 页面了：
http://{JobManagerHost:Port}/api/v1/namespaces/default/services/flink-jobmanage r:ui/proxy