著者：マイクロブログ広告データプラットフォーム
ビジネスラインのマイクロブログの急速な拡大に伴い、広告ビジネスジャーナルのすべてのタイプのマイクロブログの数も飛躍的に増加します。Hadoopの生態学に基づいた従来のオフラインのデータ・ストレージ・コンピューティング・ソリューションは、業界で統一された理解が、リアルタイムのシナリオにオフラインコンピューティング、オフラインからより多くのデータの制約を受けるの適時性を形成しています。Weiboの広告プラットフォームリアルタイムデータ背景デザインや建設など、現在のシステムは、ビジネスの種類は数を記録し、日々のログの数にアクセス製品以上の100億行をサポートする必要があります。
技術の選択
スパークと比較して、より洗練された現在の生態系の全体的な数をスパークし、機械学習とリードの用途に統合。しかし、流量計算明白な利点で強力な候補を持って-Flinkビッグデータエンジンの次の世代として、FLINKは、データのすべての部分ではなくスパークミニとしてよりも、計算をトリガーするフロー計算の本当の意味での単一のプロセスに属していますバッチは、妥協案としてストリーミング。FLINKフォールトトレランスは、スループットに影響が少ない、より軽量で、マップを持っており、