HBaseのは、ユーザ特性データ解析に千億のアプリケーションと実践を巧みな

免責事項:この記事では、HBaseの技術コミュニティ、仕上げおよび精製をした人からの元のPPTシェアがあります。
注意この種のものを満たすカザフスタン、PPTは練習の過程でより多くの技術的な解決策と他人の体験して学ぶことができます。私が手助けをしたいです。

背景

巧みなユーザ特性データは毎日数百億を生成し、アナリストはデータの30〜90日の間の機能の数千億を必要とする、複数の次元の任意の組み合わせを選択します(例:北京市=&性別=男性)ユーザーの行動の、第二段階の分析。この要求に応えて、巧みな独立した研究とHBaseのサポートビットマップ変換、保存、インデックスに基づいて、分析サービスを維持し、正常に解析、加入者の増加、広告やマーケティング、ABTest他のビジネスシナリオに適用され、高速計算を--BitBase。

ビジネスニーズと課題

7-90日の利用者の保持、セカンドレベルへの復帰を計算し、任意の次元を選択し、ログの千億レベル:実際のビジネスで遭遇クイック労働者のニーズは、我々は、ビジネスシナリオを使用する必要があります。

ファイル

テクノロジーの選択

このためには、巧みな研究プログラムは、ハイブ、ES、を含むclickhouse様々な技術を含んでいます。

ファイル

技術的な解決策

最後に、BitBase液の形成は、ビットマップとのHBaseに基づいています。

ファイル

ビットマップのこちらを参照するには、学生に精通していない。https://www.jianshu.com/p/bf9dbbc147ed

要素であり、その主な一方でそれは、1ビットの値をマークする要素に対応するビットマップと呼ばれています。ビット単位の結果データを格納するために、大幅に収納スペース節約することができます。

最後に、多次元計算を行うように設計され、ビットマップの間、OR、NOT、XOR、数、リスト計算されます。

全体BitBase

全体的なアーキテクチャ:

ファイル

メモリー・モジュール:

ファイル
ここで、すべての元の情報テーブルは、具体的には、異なるビットマップデータが存在し、ビットマップ内に存在する、ビットマップ・ビットは、テーブルデータサイズに基づいて決定します。

計算モジュール:

ファイル

DEVICEID問題

ファイル

実用上の問題では、複合体は、デバイスIDインデックス(長い)値に変換されます。連続、均一、逆ソリューション、変換速度:と必要性は、次のような特徴を持っています。

ファイル

技術的な解決策を継続的に、一貫性のある、逆ソリューション

ファイル

急速な転換を達成する方法

ファイル

業績

実際には、待ち時間、90日の滞留時間は10秒以内に返されることがあります。
ファイル

サービスステータス:
ファイル

今後の計画

将来の計画は、次のとおりです。

  • オフラインマップは5分で導入することができます
  • SQLのサポート
  • オープンソース

ファイル

免責事項:著者が可能にせずに特に指定以外のすべてのためのこの記事番号、すべての元と国民が、読者番号を読み込むための優先権を持っている、それ以外の不法行為責任を追及、複製してはなりません。

私は公共の数が心配です、舞台裏の返信[JAVAPDFページ200]質問を受けます!
神の大規模データパスへの懸念の50,000人、それについて知って来ないのですか?
神への道50000ビッグデータの懸念は、実際にそれを見ませんか?
神の大規模データパスへの懸念の50,000人は、実際にそれについて学ぶために決定されていないのですか?

ご関心ようこそ「神の道にビッグデータを。」

ビッグデータ技術とアーキテクチャ

おすすめ

転載: www.cnblogs.com/importbigdata/p/11845651.html