JPS:
私は私がハイブからカフカにレコードを移動する必要があるユースケースを持っています。私は私が直接FLINKデータセットにカフカシンクを追加することができます方法を見つけることができませんでした。したがって私は、所与のレコードのkafkaProducer.send()コマンドを使用しFLINKデータセット上で、マップ機能内側マップ変換を呼び出す回避策を使用します。
私が直面しています問題は、私はそれゆえカフカで書かれたレコードの数が少し小さいデータセット内のレコード数よりも常にあり、すべてのワーカーノード上で()kafkaProducer.flushを実行するためにどのような方法を持っていないということです。
これを処理するエレガントな方法はありますか?私はFLINKにデータセットにカフカシンクを追加することができます任意の方法?ファイナライザとしてkafkaProducer.flush()をコールするか方法はありますか?
ドミニクWosiński:
あなたは、単に作成することができますSink
使用することKafkaProducer
ボンネットの下にし、カフカにデータを書き込みます。