セマンティック(意味論)

定義されたフロー計算セマンティクス(意味論)
各レコードには、いくつかのコンピューティング・システムストリームを処理しています
3つのセマンティクスがあります。
1、どちらか一回かに処理して、最高1回レコード契約
2少なくとも1回レコードを1回以上処理することができる、処理を繰り返すことができます
3、一度だけ記録が一度だけ処理されます

 

 

=かかわらず、各段階で、失敗した失敗しないか失われたゼロデータはセマンティクス少なくとも一度でなければなりません
 
使用カフカの直接法は正確に一度セマンティックを受け入れるようにすることができます。
1、パーティションとしてパーティションのRDDカフカ、同じファイルを読み込みます
2、無レシーバ
3、より多くを達成するために何の労働組合は、複数のレシーバを起動しないDSTREAM
4、無WAL
ヴァルdirectKafkaStream = KafkaUtils.createDirectStream(...)
出力電力など
限り、データソースが同じであるとして、出力は同じですが、あなたは直接上書きすることができます

おすすめ

転載: www.cnblogs.com/tesla-turing/p/11488309.html