[ビッグデータ] [スパーク]構造化されたストリーミングの基礎

概要

例えば、各データ・ストリームの関数のマップを使用して変換され、又はデータ関数重合の数を減らすために最も流動計算エンジン関心単にデータストリームを計算している(例えば、嵐、スパークストリーミング、等) 。しかし、実際には、ストリーム・コンピューティング・アプリケーションのほとんどで、それだけの簡単なフロー計算エンジンよりもはるかに多くを必要とします。代わりに、流れはストリーミングアプリケーションでの一部のみを占めるように計算されます。だから今、連続コンピューティング/アプリケーション、連続アプリケーションと呼ばれる新しい用語があります。
2.0スパーク、構造化されたストリーミングの導入、上記連続塗布を達成することで、連続的に計算されます。まず、構造化されたストリーミングAPIは火花より上位である、スパークは、主に、データセット/データフレームのような高次バッチのAPIに基づいています。また、構造化されたストリーミングはまた、ストリーミング・コンピューティング・アプリケーションを提供することができない他の多くの機能を提供します。

おすすめ

転載: blog.csdn.net/cheidou123/article/details/94221898