FLINKシーン解析との比較[イベント駆動型、データ分析、データパイプライン]

A.イベントドリブン

　　言及したイベント駆動型アプリケーション、イベント駆動型アプリケーションであるかについて、すべての話の最初の？イベント駆動型アプリケーションは、1つ以上のイベントから、及びトリガ計算、ステータスの更新や外部操作によって抽出イベントが、着信イベントに反応することがステートフル・アプリケーションです。

　　イベント駆動型アプリケーションは、レガシーアプリケーションの設計、開発、分離コンピューティングおよびデータ記憶層です。このアーキテクチャでは、アプリケーションは、リモート・データベース・トランザクション・データベースからリモート・トランザクションに永続データを読み出します。対照的に、イベント駆動型アプリケーションストリーム処理アプリケーションの状態に基づい。この設計では、同じ位置のデータと計算することにより、局所的に[]データ・メモリまたはディスクアクセス。リモート永続ストレージに書き込まれた定期的なスポットチェックを通じてフォールトトレランス。次の図は、従来のアプリケーションの構造とイベント駆動型アプリケーションの違いを説明しています。

　　端的に言えば、約2つの物事の主な違い：

　　　　1.プログラムデータの位置

　　　　　　伝統的に、アプリケーションは、同じマシン内のプログラムおよびプログラム・データの使用を必要としない、プログラムの位置データは取るに足らない[負]ネットワーク伝送、データ、および一般遠位端にあります。イベント駆動型のプログラムは効果がより明白であるため、特に大量のデータのために、迅速な計算データを容易にデータの局所性を、必要としています。

　　　　2.フォールトトレランス

　　　　　　従来のアプリケーションは、通常、処理ロジックとあまり複雑な内部プログラムと短いチェーンによるフォールトトレランスが、一般的にトランザクション・データが異常である使用に制限されている依存していません。イベント駆動型プログラムは、あなたがより一般的な7 * 24中断のない実行とインクリメンタル・コンピューティング、フォールトトレラントの使用を必要とし、チェックポイントは特に重要です。

　　利点は何のイベント駆動型アプリケーション？

　　　　1.イベント駆動型アプリケーションは、リモート・データベースにアクセスしますが、ローカルにデータにアクセスするので、スループットの面で、より良いパフォーマンスを持っていたの待ち時間されていません。

　　　　2.定期チェックポイントのリモート永続ストレージは、非同期と増分的することができます。そのため、イベント処理にほとんど影響。

　　　　3.階層システムでは、複数のアプリケーションが同一のデータベースは非常に一般的である共有します。したがって、データベースへの変更を調整する必要があります。各イベント駆動型アプリケーションは、独自のデータに対してのみ責任がある、またはアプリケーションをスケーリングデータの表現を変更するので、より少ない調整が必要。

　　どのようにFLINKサポートイベント駆動型アプリケーション？

　　　　1.状態が定義されたストリームプロセッサによって処理されるイベント駆動型および時間の適用を制限する機能。FLINK多くの優れた機能は、これらの概念を中心にしています。それは原始的な状態の豊富なセットを提供し、それはほとんどいくつかの[TB]で非常に大量のデータを管理するために、正確な一貫性を確保することができます。

　　　　イベント時間、高度にカスタマイズウィンドウロジックと時間をきめ細かく制御用2.Flinkサポート提供サポート[高度なビジネスロジックのためには、ProcessFunctionによって有効]。

　　　　[CEP] 3.Flinkライブラリを有する、複合イベント処理のためのデータストリームのパターンを検出することができます。

　　　　アプリケーションの優れた機能性のための4.Flinkは、イベント駆動型のポイントを保存することです。セーブポイントは、一貫性のある状態の画像が互換性のあるアプリケーションの出発点として使用することができるされています。セーブポイントを与え、または更新アプリケーションは、その大きさを調整することができ、又はA / Bテストを起動するアプリケーションの複数のバージョンであってもよいです。

　　典型的なイベント駆動型アプリケーションは何ですか？

　　　　1.詐欺の認識

　　　　2.異常検出

　　　　3.ルールベースのアラート

　　　　4.ビジネスプロセス監視

　　　　5.Webアプリ[ソーシャルネットワーキング]

II。データ分析

　　データ分析アプリケーションは何ですか？

　　　　生データ及び洞察から抽出された1分析情報。伝統的に、分析は、データの限定セットのためのバッチクエリまたはアプリケーションがイベントの実行を記録してきたようです。分析結果に最新のデータをマージするためには、データセットを分析するために、それを追加し、再実行したクエリまたはアプリケーションなければなりません。結果は、ストレージ・システムまたは送信されたレポートとして書かれています。

　　　　サウンドストリーム処理エンジンを搭載した2もリアルタイムで分析を行うことができます。ストリームのクエリまたはアプリケーションは、データの限定セットを読み取ることはありませんが、リアルタイムイベントは、常に生産し、更新結果としてイベントを吸収し、使用するストリーム。結果は、いずれかの外部データベースに書き込まれ、または内部状態を維持します。ダッシュボードアプリケーションが外部のデータベースから最新の結果を読むことができます、あなたはまた、アプリケーションの内部状態を直接確認することができます。

　　　　下に示すように、アプリケーションやバッチ分析を、ストリーミングFLINKサポート：

　　フロー分析アプリケーションがあるの利点は何ですか？

　　　　バッチ分析と比較して、6つの連続分析の利点は、定期的なインポートおよびクエリ実行の排除に限定されるものではなく、従って遅延イベントから洞察大幅に低減されます。バッチクエリとは対照的に、クエリが導入と入力の有界周期的な性質に起因する人工的な境界処理入力データを、流動する必要はありません。

　　　　一方、よりシンプルなアプリケーションアーキテクチャです。バッチ解析パイプラインは、定期的にスケジュールデータ抽出やクエリ実行のためのいくつかの個別のコンポーネントで構成されています。一つの構成要素の故障が続くステップパイプラインに影響を与えるため、このようなチューブは、確実かつ簡単に操作します。対照的に、フロー分析アプリケーションは、連続した結果から抽出されたすべてのデータを計算するステップを含むようFLINK複合体として、プロセッサ上で実行されています。したがって、フェールオーバーメカニズムエンジンに頼ることができます。

　　どのようにFLINKは、データ分析アプリケーションをサポート？

　　　　FLINKは、連続してバッチ分析良いサポートを提供しています。具体的には、ANS SQLインタフェース、バッチおよびフロークエリのための統一されたセマンティックと一致しています。かどうか、またはイベントデータレコードの静的なセットに関するリアルタイムのイベントストリーム上で実行するには、SQLクエリは、同じ結果を計算します。ユーザー定義関数のための豊富なサポートは、SQLクエリでそのカスタムコードを確保するために行うことができます。複数のカスタム・ロジック場合は、FLINKデータストリームAPIやデータセットのAPIのより多くのレベルの制御を提供することができます。また、FLINKのゲル状ライブラリーは、大規模かつ高性能なグラフィックスやバッチデータセットの解析を構築するためのアルゴリズムを提供します。

　　典型的なデータ分析アプリケーションは何ですか？

　　　　1.電気通信ネットワークの品質管理

　　　　製品のアップデート、解析と実験的評価2.移動アプリケーション

　　　　3.リアルタイムデータにおける個人消費の中間解析

　　　　大規模なマップの4分析

III。データパイプライン

　　データパイプラインとは何ですか？

　　　　] [ETL負荷抽出変換方法は、ストレージシステムとモバイルデータ変換の間に使用されます。一般的に、定期的に分析データベースやデータウェアハウスにトランザクションデータベース・システムからデータをコピーするETLジョブをトリガします。データパイプラインETLジョブが使用などが挙げられます。それらは豊富で、変換データであってもよく、他のストレージシステムに一つのストレージシステムから転送されてもよいです。しかし、彼らは連続モードで動作し、定期的にではないトリガー。したがって、それらは、ソース・データ・レコードに生成することができる読み込まれ、レイテンシが宛先への連続から移動します。例えば、データパイプラインは、新しいファイルシステムディレクトリかどうかを監視してもよいし、イベントログデータに書き込みます。別のアプリケーションがデータベースへのイベントの特定の流れであるか、またはインクリメンタル検索インデックスを構築し、向上させることができます。

　　　　次の図は、定期的かつ継続的なデータパイプETLジョブの違いを説明します。

　　あるデータパイプラインの利点は何ですか？

　　　　定期的なETL操作と比較すると、連続したデータパイプライン明白な利点は、その先に移動データの待ち時間を短縮することです。さらに、より一般的なデータパイプライン、彼らは継続的にデータと出力データを使用することができるので、より多くのケースのために使用することができます。

　　どのようにFLINKサポートデータパイプライン？

　　　　ユーザ定義関数のFLINK SQLインターフェイス[OR]表APIとサポートは、データ変換または拡張の多くの一般的なタスクを解決することができます。より一般的なデータストリームAPIは、パイプの高いデータ要件で実現することができます。FLINK種々のストレージシステム[例えばカフカ、キネシス、Elasticsearch]とJDBCデータベース・システムは、コネクタの豊富なセットを提供します。また、これらの情報源と受信機のモニターが蓄積時間にファイルディレクトリを作成し、ファイルシステムの継続的なソースを持っています。

　　典型的なデータパイプラインのアプリケーションは何ですか？