IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> Flink流处理引擎系统学习(三) -> 正文阅读

[大数据]Flink流处理引擎系统学习(三)

前言

再来一个Flink的stream的example,提前先说下,官网的例子有点坑。


一、stream例子

在这里插入图片描述
拷贝到我的目录(这里顺便说下一个好的工具用起来真香,idea居然可以复制的代码,粘贴自动跟我创建类)
在这里插入图片描述
你想文什么,我知道,先别问,继续看下面。

二、example整理

1.依赖引入

你拷贝到你的demo项目,在自动引包的时候,会发现很多缺很多对象。
首先需要引入flink-connector-files

<dependency>
	<groupId>org.apache.flink</groupId>
	<artifactId>flink-connector-files</artifactId>
	<version>${flink.version}</version>
</dependency>

2.为什么会有TextLineInputFormat类

做完上面的步骤,应该会发现缺少这个类。首先说明,这里的示例居然是根据最新的快照版本写的,返回去看example的pom会发现。
在这里插入图片描述

我从maven下载到这个版本,用luyten打开jar,发现还真有这个类。
在这里插入图片描述
于是就新建了这样一个类,这里要说下,如果是用最新版本1.14.4版本,其实那行代码换个写法也是可以的。

FileSource.FileSourceBuilder<String> builder =
   // FileSource.forRecordStreamFormat(
   //new TextLineInputFormat(), params.getInputs().get());    1.16-SNAPSHOT版本
  FileSource.forRecordStreamFormat(new TextLineFormat()
  , params.getInputs().get());    //1.14.4版本

这个最终解释权,还是来源官网,在官网1.14.4版本的Search框输入Text,就会出现Text Files的下拉了,点击,就会跳转到语法使用示例
在这里插入图片描述

3.还有报错提示

在这里插入图片描述
点击MemorySize的方法ofMebiBytes看实现,确定可以直接写long值,另外,下面Duration这里也爆红,改:

counts.sinkTo(
          FileSink.<Tuple2<String, Integer>>forRowFormat(
                  params.getOutput().get(), new SimpleStringEncoder<>())
              .withRollingPolicy(
                  DefaultRollingPolicy.builder()
                      .withMaxPartSize(20)
                      .withRolloverInterval(10)
                      .build())
              .build())
      .name("file-sink");

三、运行example

在这里插入图片描述
报错,原因查了下没有说明,看这个字面意思是,无法使用私有最终字节。。。
PS:说到这突然想到,jdk在9就将实现由char[]改成了byte[]了,意义是可以节省占用内存。
这里其实我怀疑是不是jdk17有bug,最后突然想到官网建demo项目脚本的地方有这样的2句话:
在这里插入图片描述
于是,切换demo的build&run的jdk版本,idea里在这里切换:
在这里插入图片描述
再次运行
在这里插入图片描述
熟悉的分区统计又出来了,是不是很开心!!!


总结

1、看了官网的example还很多,后面的学习可能不能每个跟大家都分享了,有些我们肯定也暂时不用。
2、我的CSDN学习会员里Flink的这个课程有100节课,学习要加快,可能后面都有可能没有专门的时间学习了,只能在实战中get了。
希望能帮到大家哦,下班了,回家。

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2022-04-22 18:43:14  更:2022-04-22 18:44:18 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/24 2:30:52-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码