スパークストリーミングコアスパークAPIは、リアルタイムデータの拡張は、スケーラブルストリーム、ハイスループット、フォールトトレラントプロセス流れであってもよいです。データは、多くの供給源（例えば、カフカ、水路、キネシスまたはTCPソケット）から抽出することができ、複雑なアルゴリズムは、例えば、マップを処理するための高レベルの機能を表す減らす、参加と窓ために使用されてもよいです。最後に、処理されたデータは、ファイルシステム、データベース、およびリアルタイムダッシュボードにプッシュすることができます。実際には、データストリームに機械学習と画像処理アルゴリズムのスパークを適用することができます。
次のように内部的には、それが動作します。スパークストリーミングは、入力データストリームにリアルタイムデータを受信し、次にバッチをバルクフローの最終結果を生成するために、スパークエンジンによって処理されます。
スパークストリーミングデータの連続ストリームを示す、別個のストリームまたはDSTREAMと呼ばれる高レベルの抽象化を提供します。DSTREAMはカフカ、水路等キネシスソースからの入力データ・ストリームから作成することができる別に作成上級DSTREAMのアプリケーションによって操作されてもよいです。インテリアでは、DSTREAMはシリーズRDDとして表現しました。