Apache Flink 是一款著名的流式计算引擎,但是它的使用 docker-compose 的教学文档写得不是很清晰,导致我花了几个小时才搞明白如何使用 docker-compose 来运行例子程序。
为了让大家不再重蹈覆辙,我记录下下面的方法供大家入门。
运行 session-cluster
文档中推荐了 application cluster 和 session cluster。 Application cluster 用于专门跑某个程序,配置较为复杂。我推荐大家使用 session cluster 来上手。下面是 session cluster 的 docker-compose.yml 文件:
version: "2.2"
services:
jobmanager:
image: flink:latest
ports:
- "8181:8081"
command: jobmanager
environment:
- |
FLINK_PROPERTIES=
jobmanager.rpc.address: jobmanager
taskmanager:
image: flink:latest
depends_on:
- jobmanager
command: taskmanager
scale: 1
environment:
- |
FLINK_PROPERTIES=
jobmanager.rpc.address: jobmanager
taskmanager.numberOfTaskSlots: 2
Flink 默认使用 8081 端口作为 web UI 的端口,由于 8081 端口比较常用,我把 docker 对外端口改为了 8181.
使用上面的内容创建 docker-compose.yml 然后进入 docker-compose.yml 所在的文件夹运行下面的命令:
docker-compose up -d
服务就启动了。使用下面的命令可以看到 Flink 的 Job Manager 和 Task Manager 容器。
docker ps | grep flink
使用 Flink 命令行工具运行 WordCount 例子程序
运行下面的命令进入 task manager 容器,请注意使用您运行的docker 容器的编号,下面的编号是我运行时的编号 (9e96076c0593 )
docker exec -it 9e96076c0593 /bin/bash
进入容器后,当前文件夹是 /opt/flink 运行下面的命令启动 WordCount 作业
./bin/flink run ./examples/streaming/WordCount.jar --output wordcount.txt
输入下面的命令,检查运行结果:
cat wordcount.txt
使用 Flink Web UI 运行 WordCount 例子程序
我们还可以使用 Flink Web UI 提交作业,还可以监控作业的状态。在浏览器中输入下面的 url
http://your_flink_ip:8181
点击 Submit New Job -> Add New,上传 WordCount.jar 文件。你可以通过下面的网址下载 flink 压缩包,或者从 docker 容器中的 opt/flink/examples/streaming 文件夹找到它。
https://flink.apache.org/downloads.html
填写 --output wordcount2.txt 到命令行参数中,如下图所示。
点击 submit 开始执行任务。任务执行结束后,我们可以进入 task manager 容器检查结果,这里就再赘述了。
结论
本文介绍了如何使用 docker-compose 运行 Flink 例子程序的方法。读者可以进入 docker 容器直接执行或者使用 web UI 来提交作业。
|