IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 系统运维 -> Flink: 如何使用 docker-compose 来启动和测试服务? -> 正文阅读

[系统运维]Flink: 如何使用 docker-compose 来启动和测试服务?

Apache Flink 是一款著名的流式计算引擎,但是它的使用 docker-compose 的教学文档写得不是很清晰,导致我花了几个小时才搞明白如何使用 docker-compose 来运行例子程序。

为了让大家不再重蹈覆辙,我记录下下面的方法供大家入门。

运行 session-cluster

文档中推荐了 application cluster 和 session cluster。 Application cluster 用于专门跑某个程序,配置较为复杂。我推荐大家使用 session cluster 来上手。下面是 session cluster 的 docker-compose.yml 文件:

version: "2.2"
services:
  jobmanager:
    image: flink:latest
    ports:
      - "8181:8081"
    command: jobmanager
    environment:
      - |
        FLINK_PROPERTIES=
        jobmanager.rpc.address: jobmanager        

  taskmanager:
    image: flink:latest
    depends_on:
      - jobmanager
    command: taskmanager
    scale: 1
    environment:
      - |
        FLINK_PROPERTIES=
        jobmanager.rpc.address: jobmanager
        taskmanager.numberOfTaskSlots: 2     

Flink 默认使用 8081 端口作为 web UI 的端口,由于 8081 端口比较常用,我把 docker 对外端口改为了 8181.

使用上面的内容创建 docker-compose.yml 然后进入 docker-compose.yml 所在的文件夹运行下面的命令:

docker-compose up -d

服务就启动了。使用下面的命令可以看到 Flink 的 Job Manager 和 Task Manager 容器。

docker ps | grep flink

在这里插入图片描述

使用 Flink 命令行工具运行 WordCount 例子程序

运行下面的命令进入 task manager 容器,请注意使用您运行的docker 容器的编号,下面的编号是我运行时的编号 (9e96076c0593 )

docker exec -it 9e96076c0593 /bin/bash

进入容器后,当前文件夹是 /opt/flink
在这里插入图片描述
运行下面的命令启动 WordCount 作业

./bin/flink run ./examples/streaming/WordCount.jar --output wordcount.txt

输入下面的命令,检查运行结果:

cat wordcount.txt

在这里插入图片描述

使用 Flink Web UI 运行 WordCount 例子程序

我们还可以使用 Flink Web UI 提交作业,还可以监控作业的状态。在浏览器中输入下面的 url

http://your_flink_ip:8181

在这里插入图片描述
点击 Submit New Job -> Add New,上传 WordCount.jar 文件。你可以通过下面的网址下载 flink 压缩包,或者从 docker 容器中的 opt/flink/examples/streaming 文件夹找到它。

https://flink.apache.org/downloads.html

填写 --output wordcount2.txt 到命令行参数中,如下图所示。

在这里插入图片描述
点击 submit 开始执行任务。任务执行结束后,我们可以进入 task manager 容器检查结果,这里就再赘述了。

结论

本文介绍了如何使用 docker-compose 运行 Flink 例子程序的方法。读者可以进入 docker 容器直接执行或者使用 web UI 来提交作业。

  系统运维 最新文章
配置小型公司网络WLAN基本业务(AC通过三层
如何在交付运维过程中建立风险底线意识,提
快速传输大文件,怎么通过网络传大文件给对
从游戏服务端角度分析移动同步(状态同步)
MySQL使用MyCat实现分库分表
如何用DWDM射频光纤技术实现200公里外的站点
国内顺畅下载k8s.gcr.io的镜像
自动化测试appium
ctfshow ssrf
Linux操作系统学习之实用指令(Centos7/8均
上一篇文章      下一篇文章      查看所有文章
加:2021-10-25 12:48:54  更:2021-10-25 12:50:35 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/15 22:37:53-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码