[大数据]flink批处理一

Flink批处理开发

Flink 应用程序结构主要包含三部分,Source/Transformation/Sink,如下图所示：
Source: 数据源，Flink 在流处理和批处理上的 source 大概有 4 类：
基于本地集合的 source
基于文件的 source
基于网络套接字的 source
自定义的 source。自定义的 source 常见的有 Apache kafka、Amazon Kinesis Streams、RabbitMQ、Twitter
Streaming API、Apache NiFi 等，当然你也可以定义自己的 source。
Transformation：数据转换的各种操作，有 Map / FlatMap / Filter / KeyBy / Reduce / Fold / Aggregations / Window
/ WindowAll / Union / Window join / Split / Select / Project 等，操作很多，可以将数据转换计算成你想要的数据。
Sink：接收器，Flink 将转换计算后的数据发送的地点 ，你可能需要存储下来，Flink 常见的 Sink 大概有如下几
类：
写入文件、
打印输出、
写入 socket 、
自定义的 sink 。自定义的 sink 常见的有 Apache kafka、RabbitMQ、MySQL、ElasticSearch、Apache
Cassandra、Hadoop FileSystem 等，同理你也可以定义自己的 Sink。

Flink批处理DataSource

Flink 做为一款流式计算框架，它可用来做批处理，即处理静态的数据集、历史的数据集；也可以用来做流处理，即
实时的处理些实时数据流，实时的产生数据流结果，只要数据源源不断的过来，Flink 就能够一直计算下去，这个
Data Sources 就是数据的来源地。
Flink在批处理中常见的source主要有两大类。
基于本地集合的source（Collection-based-source）
基于文件的source（File-based-source）
基于本地集合的Source
在Flink中最常见的创建本地集合的DataSet方式有三种。
1.使用env.fromElements()，这种方式也支持Tuple，自定义对象等复合形式。
2.使用env.fromCollection(),这种方式支持多种Collection的具体类型。
3.使用env.generateSequence(),这种方法创建基于Sequence的DataSet。

读取本地文件

package com.ccj.pxj.heima
import org.apache.flink.api.scala._
import scala.collection.mutable
import scala.collection.mutable.{ArrayBuffer, ListBuffer}
object BatchDemo {
  def main(args: Array[String]): Unit = {
    val env: ExecutionEnvironment = ExecutionEnvironment.getExecutionEnvironment
    val ds0: DataSet[String] = env.fromElements("spark", "flink")
    ds0.print()
    val ds1: DataSet[(Int, String)] = env.fromElements((1, "spark"), (2, "flink"))
    ds1.print()
    val ds2: DataSet[String] = env.fromCollection(Array("spark", "flink"))
    ds2.print()
    val ds3: DataSet[String] = env.fromCollection(ArrayBuffer("spark", "flink"))
    ds3.print()
    val ds4: DataSet[String] = env.fromCollection(List("spark", "flink"))
    ds4.print()
    val ds5 = env.fromCollection(ArrayBuffer("spark", "flink"))
    ds5.print()
    var ds6=env.fromCollection(List("spark", "flink"))
    var ds7=env.fromCollection(ListBuffer("spark", "flink"))
    var ds8=env.fromCollection(Vector("spark", "flink"))
    var ds9=env.fromCollection(mutable.Queue("spark", "flink"))
    var ds10=env.fromCollection(mutable.Stack("spark", "flink"))
    var ds11=env.fromCollection(Stream("spark", "flink"))
    var ds12=env.fromCollection(Seq("spark", "flink"))
    var ds13=env.fromCollection(Set("spark", "flink"))
    var ds14=env.fromCollection(Iterable("spark", "flink"))
    val ds15=env.fromCollection(mutable.ArraySeq("spark", "flink"))
    val ds16=env.fromCollection(mutable.ArrayStack("spark", "flink"))
    val ds17=env.fromCollection(Map(1 -> "spark", 2 -> "flink"))
    val ds18=env.fromCollection(Range(1, 9))
    val ds19=env.generateSequence(1, 9)
    ds6.print()
    ds7.print()
    ds8.print()
    ds9.print()
    ds10.print()
    ds11.print()
    ds12.print()
    ds13.print()
    ds14.print()
    ds15.print()
    ds16.print()
    ds17.print()
    ds18.print()
    ds19.print()
  }
}

读取HDFS文件数据

package com.ccj.pxj.heima
import org.apache.flink.api.scala._
object BatchHDFFromFile {
  def main(args: Array[String]): Unit = {
    val env = ExecutionEnvironment.getExecutionEnvironment
    env.readTextFile("hdfs://pxj60:9000//data/hive/mulit_file/1.txt").print()
  }
}

读取CSV文件数据

package com.ccj.pxj.heima
import org.apache.flink.api.scala._
object BatchFromCsvFile {
  def main(args: Array[String]): Unit = {
    val env: ExecutionEnvironment = ExecutionEnvironment.getExecutionEnvironment
    val dast: DataSet[Score] = env.readCsvFile[Score]("./data/score.csv")
    dast.print()
  }
}
case class Score(id:Int,name:String,subjectId:Int,score:Double)

读取压缩文件

package com.ccj.pxj.heima
import org.apache.flink.api.scala._
object BatchFromCompressFile {
  def main(args: Array[String]): Unit = {
    val env: ExecutionEnvironment= ExecutionEnvironment.getExecutionEnvironment
    val ee: DataSet[String] = env.readTextFile("E:\\cyrus-sasl-2.1.27.tar.gz")
    ee.print()
  }
}

遍历目录

package com.ccj.pxj.heima
import org.apache.flink.api.scala._
import org.apache.flink.configuration.Configuration
object BatchFromFolder{
  def main(args: Array[String]): Unit = {
     //初始化环境
    val env: ExecutionEnvironment = ExecutionEnvironment.getExecutionEnvironment
     // recursive.file.enumeration 开启递归
    val conf: Configuration = new Configuration
    conf.setBoolean("recursive.file.enumeration",true)
    env.readTextFile("G:\\apache-maven-3.6.3").withParameters(conf).print()
  }
}

作者：pxj
日期：2021-07-24 14:07:36