Flinkはさまざまなデータ変換操作を提供しますが、実際のビジネスプロセスで処理する必要のあるデータ構造やルールなどが多数あります。独自のビジネスコードを作成する必要があります。現時点では、flinkが提供する関数クラス（Functionクラス）
Flinkは、MapFunction、FilterFunction、ProcessFunctionなどのすべてのudf関数のインターフェイスを公開します（実装メソッドはインターフェイスまたは抽象クラスです）。
sensor3で始まるデータをフィルタリングする場合、
またはcom.mafei.apitestに新しいscalaオブジェクトUDFTest1を作成する場合は、小さな栗です。
他のコードは以前と同じです。ファイルを読み取り、簡単な処理を行います。ここにカスタム関数クラスMyFilterFunctionが追加されます。 、を使用する場合は、ロジックに.filterメソッドを追加するだけで済みます。
package com.mafei.apitest
import org.apache.flink.api.common.functions.{FilterFunction, ReduceFunction, RichFilterFunction}
import org.apache.flink.streaming.api.scala.{StreamExecutionEnvironment, createTypeInformation}
//获取传感器数据
case class SensorReadingTest1(id: String,timestamp: Long, temperature: Double)
object UdfTest1 {
def main(args: Array[String]): Unit = {
//创建执行环境
val env = StreamExecutionEnvironment.getExecutionEnvironment
case class Person(name: String, age: Int)
val inputStream= env.readTextFile("/opt/java2020_study/maven/flink1/src/main/resources/sensor.txt")
env.setParallelism(1)
// inputStream.print()
//先转换成样例类类型
val dataStream = inputStream
.map(data => {
val arr = data.split(",") //按照,分割数据，获取结果
SensorReadingTest1(arr(0), arr(1).toLong, arr(2).toDouble) //生成一个传感器类的数据，参数中传toLong和toDouble是因为默认分割后是字符串类别
// }).filter(new MyFilterFunction)
// }).filter(_.id.startsWith("sensor1")) //如果特别简单的逻辑，也可以匿名类直接这样子写，和写一个函数是一样的效果
// }).filter(new RichFilterFunction[SensorReadingTest1] {
// override def filter(t: SensorReadingTest1): Boolean =
// t.id.startsWith("sensor3")
// }) //匿名类的实现效果，和上面2种效果都是一样的
}).filter(new KeywordFilterFunction("sensor3")) //也可以把要过滤的参数传进去
dataStream.print()
env.execute("udf test")
}
}
//自定义一个函数类,做过滤，实现接口中的filter方法即可
class MyFilterFunction extends FilterFunction[SensorReadingTest1] {
override def filter(t: SensorReadingTest1): Boolean = t.id.startsWith("sensor3")
}
//自定义的函数类，和上面一样，增加了传参，
class KeywordFilterFunction(keyword: String) extends FilterFunction[SensorReadingTest1]{
override def filter(t: SensorReadingTest1): Boolean =
t.id.startsWith(keyword)
}
コード構造と実行効果図
RichMap
主にいくつかのデータ処理やその他の操作を行います。コードは、MapperDemoとRichMapDemoの違いと実行効果を示しています。
package com.mafei.apitest
import org.apache.flink.api.common.functions.{FilterFunction, MapFunction, RichMapFunction}
import org.apache.flink.configuration.Configuration
import org.apache.flink.streaming.api.scala.{StreamExecutionEnvironment, createTypeInformation}
//获取传感器数据
case class SensorReadingTest2(id: String,timestamp: Long, temperature: Double)
object UdfTest2 {
def main(args: Array[String]): Unit = {
//创建执行环境
val env = StreamExecutionEnvironment.getExecutionEnvironment
case class Person(name: String, age: Int)
val inputStream= env.readTextFile("/opt/java2020_study/maven/flink1/src/main/resources/sensor.txt")
env.setParallelism(1)
// inputStream.print()
//先转换成样例类类型
val dataStream = inputStream
.map(data => {
val arr = data.split(",") //按照,分割数据，获取结果
SensorReadingTest2(arr(0), arr(1).toLong, arr(2).toDouble) //生成一个传感器类的数据，参数中传toLong和toDouble是因为默认分割后是字符串类别
}).map(new RichMapDemo())
dataStream.print()
env.execute("udf test")
}
}
class MapperDemo extends MapFunction[SensorReadingTest2, String]{
override def map(t: SensorReadingTest2): String = t.id+"测试加一些字符串"
}
//富函数，比上面类多了open和close等方法，可以做些数据库连接等操作
class RichMapDemo extends RichMapFunction[SensorReadingTest2, String]{
//这里主要是一些初始化操作，启动调用时，整个过程只会调用一次，类似于类初始化加载的变量，像数据库连接等等
override def open(parameters: Configuration): Unit = {
println("进行了数据库连接。。。。。。。。。。")
//获取运行时上下文
getRuntimeContext()
}
//每条数据都会经过这个方法
override def map(in: SensorReadingTest2): String = in.id+"测试富函数加一些字符串"
override def close(): Unit = {
//跟open类似，当任务停止时会执行，可以做一些如释放数据库连接等等
print("关闭了数据库连接。。。。。。")
}
}操作効果：プロセス全体でデータベース接続操作が1つしかないことがわかります。
データベース接続が確立されました。。。。。。。。。。
sensor1テストリッチ関数といくつかの文字列
sensor2テストリッチ関数といくつかの文字列
sensor3テストリッチ関数といくつかの文字列
sensor4テストリッチ関数といくつかの文字列
sensor4テストリッチ関数といくつかの文字列
sensor4テストリッチ関数といくつかの文字列が
閉じていますデータベース接続。。。。。。