アマゾンキネシスデータストリーム

あなたは、大規模なデータレコードのアマゾンキネシスデータストリームのリアルタイム収集と処理に使用することができます流れをあなたはと呼ばれる作成することができ  キネシスデータストリームアプリケーションデータ処理アプリケーションを。典型的なキネシスデータストリームのアプリケーション・データ・ストリームの  データは、データ記録として読み込まれます。これらのアプリケーションは、キネシスクライアントライブラリを使用することができ、およびEC2インスタンスアマゾン上で実行することができます。これは、アラート、価格設定や広告戦略の動的な変化を生成するために、これらのレコードを使用したり、他のAWSのさまざまなサービスにデータを送信するために、コントロールパネルに処理されたレコードを送信することができます。

キネシスデータストリームは何をするために使用することができますか?

することはできキネシスデータストリーム急速かつ持続的なデータのインポートおよび集約のため。ITインフラ、データログ、アプリケーションログ、ソーシャルメディア、市場データソースとWebクリックストリームデータを含むことができる使用されるデータ型。リアルタイムでのデータや処理の導入の応答時間があるので、処理は通常、軽量です。

以下は、使用キネシスデータストリームの典型的なシナリオです。

加速ログとデータソースと治療の導入

あなたはクリエイターが直接データをプッシュ流入できるようにすることができます。例えば、システムおよびアプリケーションのログをプッシュし、それらを処理するために、数秒で準備ができていることがあります。これは、ログデータの損失によるフロントエンドサーバーまたはアプリケーションの障害を防ぐことができます。キネシスデータストリームは、あなたが紹介ではなく、サーバー上のデータのバッチの準備のためにデータを送信する前にするので、の導入を加速するために、データソースを提供します。

リアルタイムの指標とレポート作成

あなたは、収集したデータキネシスデータストリームのリアルタイムデータ分析を使用して、簡単な報告をすることができます。データは、バルクデータを受信するために待機しているのではなく、流れますので、たとえば、あなたのアプリケーションは、データ処理の指標を処理し、システムやアプリケーションのログをレポートすることができます。

リアルタイムのデータ分析

これは、リアルタイムデータと組み合わせ、並列処理と値の電力です。例えば、リアルタイム処理サイトのクリックストリームは、その後、婚約サイトの利用可能性を分析するために、並列に実行されている異なるキネシスデータストリームアプリケーションの数を使用します。

複雑なストリーム処理

キネシスデータストリームは非巡回グラフ(DAG)向けアプリケーションやデータ・ストリームを作成することができます。これは、典型的には、他の下流の処理アプリケーションのための他のアプリケーションキネシスデータストリーム、キネシスデータストリームから複数のストリームにデータを配置することを含みます。

キネシスデータストリームを使用する利点

キネシスデータストリームを使用している間ストリーミングデータの問題を解決しますが、リアルタイムの重合におけるデータの一般的な使用、および重合は、データウェアハウスにデータをロードまたはクラスタをマッピング-減らします。

耐久性と弾力性を確保するためのデータストリームにキネシスデータ。ストリーム内に載置された記録時間と時間の間の遅延は、検索可能なレコード(プットツー得る遅延)を1秒より通常少ないです。つまり、データを追加した後、キネシスデータストリームアプリケーションは、ほとんどすぐにデータ・ストリームを使用して開始します。マネージドサービスは、キネシスデータストリームは、パイプラインの運用負担にデータを作成して実行することができ減らすことができます。ストリーミングは、マップ・reduce-タイプのアプリケーションを作成することができます。弾性キネシスデータストリームを展開したり、彼らが満了する前に記録されたデータを失わないように、流れを減少させることができます。

アプリケーションのキネシスデータストリーム複数の同時かつ独立して、複数の動作(例えば、保管及び処理)にデータ・ストリームを使用することができます。たとえば、2つのアプリケーションが同じクラス内のデータを読み取ることができます。アマゾンDynamoDBのテーブルを実行している最初のアプリケーションを算出し、重合を更新し、そのようなアマゾンシンプルなストレージサービス(アマゾンS3)としてアーカイブデータストレージに第2の圧縮データとアプリケーションデータ、。リアルタイムのレポート(数分)を得るために、重合を実行しているそして、読み出し制御パネルDynamoDBのテーブル。

キネシスクライアントライブラリは、フォールトトレラントデータ・ストリームの使用をサポートし、キネシスデータストリームアプリケーションのための拡張サポートを提供します。

おすすめ

転載: www.cnblogs.com/cloudrivers/p/11258160.html