著者: 禅とコンピュータープログラミングの芸術
インターネット、モバイル インターネット、モノのインターネットなどの新しいネットワーク テクノロジの継続的な開発に伴い、企業は大規模なデータの処理への依存度を高めており、ビッグ データ分析、意思決定支援、リスク管理などの分野ではすべて大規模なデータ処理が必要になっています。データ処理能力。大量のデータを効率的かつ迅速に処理し、処理効率を向上させ、コストを削減する方法は、大規模で複雑なデータセットを処理するための重要なテクノロジーの 1 つです。ビッグ データ プラットフォーム アーキテクチャの観点では、Apache Hadoop が事実上の「王様」となっていますが、Hadoop MapReduce の並列コンピューティング モデルは低レベルすぎて、複雑で変更可能なリアルタイム分析シナリオのニーズを満たすことができず、Spark がその地位を確立しました。さらに人気がありますが、Spark は分析タスクには適していません。多くのリソースを消費し、時間がかかり、エラーが発生しやすくなります。ストリーム処理フレームワークに基づく Apache Storm と Samza も優れたリアルタイム コンピューティング特性を備えていますが、それらはすべてバッチ処理フレームワークであり、オフライン コンピューティングまたは一部の単純なリアルタイム コンピューティングにのみ使用できます。そこで、現在のさまざまなビッグデータ プラットフォームの特性と限界を考慮し、近年のオープン ソース コミュニティの活発な発展と相まって、ストリーム処理フレームワークに基づく Apache Flink が登場しました。フリンクとは何ですか？高スループット (Throughput)、低遅延 (Latency)、Exactly Once、Fault-Tolerance (フォールト トレランス) などの機能を備えたオープンソースの分散ストリーム処理フレームワークであり、リアルタイムおよびオフラインで高スループットを実行するために使用できます。データ、低遅延、一度の計算と分析で正確です。その主な革新は次のとおりです。
データ処理モデルとプログラミング インターフェイス: Flink は、DataStream API、DataSet API、Table API、SQL などを含む豊富なデータ処理モデルを提供し、Java/Scala/Python/R 言語プログラミングをサポートし、対応する IDE プラグインも提供します。開発を促進するためのサポート。
パイプライン アーキテクチャ: Flink はパイプライン アーキテクチャを採用し、データ フローを複数のステージに分割して並列処理し、比較的高速な処理を実現します。