エントリーから本物のフレグランスへのフリンク(4、kafkaからデータを読み取る)

kafkaのインストールの一部を参照できます。すでにkafka環境を使用している場合は、スキップできます:https//blog.51cto.com/mapengfei/1926065

新しいパッケージcom.mafei.apitestを作成し、新しいscala Objectクラスを作成し、

package com.mafei.apitest

import java.util.Properties

import org.apache.flink.api.common.serialization.SimpleStringSchema
import org.apache.flink.api.scala.createTypeInformation
import org.apache.flink.streaming.api.scala.StreamExecutionEnvironment
import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer011

//获取传感器数据

case class SensorReading(id: String,timestamp: Long, temperature: Double)
object SourceTest {

  def main(args: Array[String]): Unit = {
    //创建执行环境
    val env = StreamExecutionEnvironment.getExecutionEnvironment

    // 1、从集合中读取数据
    val dataList = List(
      SensorReading("sensor1",1603766281,41),
      SensorReading("sensor2",1603766282,42),
      SensorReading("sensor3",1603766283,43),
      SensorReading("sensor4",1603766284,44)
    )

//    val stream1 = env.fromCollection(dataList)
//
//    stream1.print()

//    val stream2= env.readTextFile("/opt/java2020_study/maven/flink1/src/main/resources/sensor.txt")
//
//    stream2.print()

    // 3、从kafka中读取数据

    val properties = new Properties()

    properties.setProperty("bootstrap.servers", "127.0.0.1:9092")
    properties.setProperty("group.id", "consumer-group")
    properties.setProperty("auto.offset.reset", "latest")
    val streamKafka = env.addSource(new FlinkKafkaConsumer011[String]("sensor",new SimpleStringSchema(), properties))
    streamKafka.print()
    //执行
    env.execute(" source test")
  }

}

コード構造図:
エントリーから本物のフレグランスへのフリンク(4、kafkaからデータを読み取る)

コード実行効果:
3>これはKafkaから取得されます

データ生成端末(起動後のブラックボックス、直接入力し、Enterキーを押して送信):
//プロデューサーをオンにし、kafkaブローカーを127.0.0.1:9092に設定して、センサートピック
/opt/kafka_2.11-0.10に送信します。 .2.0 / bin / kafka-console-producer.sh --broker-list 127.0.0.1:9092-トピックセンサー

テストする場合は、コマンドラインを使用して次のものを使用できます
。/opt/kafka_2.11-0.10.2.0/bin/kafka-console-consumer.sh--topicsensor --bootstrap-server 127.0.0.1:9092 -consumer.config / opt / kafka_2.11-0.10.2.0 / config / consumer.properties

おすすめ

転載: blog.51cto.com/mapengfei/2547233