HBaseのとハイブ機能やアプリケーションのシナリオ

ターン:http://www.imooc.com/article/271342

何HBaseのこと?

HBaseのは、HDFSファイルシステム上の柱状ストレージアーキテクチャは、オープンソース、分散、列指向データベースです。データベースに格納された非構造化データに適し。

HBaseの信頼性の高い、高性能、列指向、スケーラブルな分散ストレージシステムで、安価なPCサーバーにストレージクラスタの大規模構造を構築することができます。

1、HBaseの構造の記憶層は、Hadoopのエコシステムを配置します。

WEBP

画像

基本的なファイルストレージとして2、HDFS

高性能コンピューティングのHBaseを提供するために3、MapReduct

4、HBaseのための飼育係、サービスとフェイルオーバーを安定化する機能を提供します

WEBP

画像

何ハイブいますか?

ハイブは、道具を倉庫のHadoopベースのデータです。構造化データをデータベーステーブルにマップされ、そしてSQLを照会する機能を提供することができ、SQLは、MapReduceのタスクの変更することができます。

ここでは、Hiveのアーキテクチャ図を見てください:

(ブラウザを介してアクセス)1、ユーザーインターフェース、ハイブ三つの主要なインターフェースがあり、CLI(場合ポンプハイブのコピー一方CLIが活性化される)、クライアント(ハイブクライアントリンクハイブサーバ)、ウェブUI

MySQLの:2、メタデータストア、ハイブメタデータのような、データベースに格納されています。

3、ドライバ(インタプリタ、コンパイラ、オプティマイザ、エグゼキュータ):完全な字句解析、構文解析、最適化、コンパイル、最適化、およびクエリプランの生成は、MapReduceの使用が続きます。

4、Hadoopの、ハイブデータはHDFSに格納されています。お問い合わせの大半は、MapReduceので完成しました。

WEBP

画像

HBaseの

私たちは、機能、ハイブの機能上のHBaseを見た後、差異のHBaseとハイブであり、シーンは、それらの使用は何ですか?

どちらも、HDFSハイブのHBaseとファイルストレージに基づいています。

HBaseの支柱拡張は、細胞を改変することができます。クエリの効率は、一般的に低レイテンシ忍耐シーンのために使用さ、比較的高いので、KVは、設計を採用し、多くの場合、シーンのプロパティを変更し、拡張属性が必要とされます。

HBaseのクエリは、一般的声明より責任、コマンドウィンドウで実行されますが、標準SQL文法、低しきい値のハイブは、簡単に始めるために。もちろん、HBaseのフェニックスは、このような構文SQLの動作をサポートするために行くことができますがあります。

HBaseの特定のアプリケーションシナリオで見てみましょう:

十万個の同時、PBのストレージ、KV基礎となるストレージ、動的な列、強い同期、まばらなテーブル、セカンダリインデックス、SQL

WEBP

画像

オブジェクトストレージ:クラス見出し、ニュースのニュース、ウェブページ、HBaseの中に保存された画像は、ウイルスのウイルスデータベースの一部は、HBaseの中に保存されています。

時系列データ:そこOpenTSDBモジュール経由のHBaseは、クラスのシーンのタイミング要件を満たすことができます。

推奨される肖像画:ユーザーの肖像画が、それは比較的大きなスパース行列です。蟻のリスク管理は、HBaseの上に構築されます。

時空間データ:メイントラック、天候グリッドなどは、主にHBaseの、テクノロジー企業ネットワーキングすべての小さな車の中でデータの他に大量にタクシーの軌跡データをドロップし、データは、HBaseの存在であります

CubeDB OLAP:麒麟キューブ分析ツールは、基礎となるデータは、オンラインレポートクエリの計算のニーズを満たすために、HBaseの中に保存された顧客自身建てオフラインキューブに基づいて多く、HBaseの中に保存されています。

メッセージ/オーダー:HBaseの同期の上に構築されたアプリケーションメッセージング通信、銀行部門、コミュニケーションの多くに加えて、基盤となるストレージ・注文照会の多くのフィールドに入力します。

メッセージ/オーダー:HBaseの同期の上に構築されたアプリケーションメッセージング通信、銀行部門、コミュニケーションの多くに加えて、基盤となるストレージ・注文照会の多くのフィールドに入力します。

ハイブは、列の拡張子、追加のサポートをサポートすることはできません、サポートは、新しいバージョンで修正されるようですが、効率は比較的低いです。ハイブ高スループットデータ処理、大きなファイル、ハイブ明らかな利点は、約あります。高耐久シーンのハーフ遅延。

ハイブ特定の使用シナリオでは、次の一見:

1、ネットワークログの分析。

2、ETLのデータクリーニング。

図3に示すように、データウェアハウスを構築します。

4、データマイニング

最後に、要約すると:HBaseのとハイブ自体は、データを格納することはできません。どちらも、組織をやってHDFS上のファイルです。さまざまなシナリオに対応するために。クエリー、動的な列のシーン利点でHBaseのではなく、データ解析とマイニングのため。二つのハイブ自体は低レイテンシーのシナリオで使用することはできません。ハイブETLは、データクリーニングを大量に処理することができます。基本的なデータ、上位層データ解析の合計を提供するために、統一規格のデータウェアハウスを構築します。だから、ハイブより多くのデータ分析に有利になるように偏っています。


著者:ムー姉妹8265434
リンクします。http://www.imooc.com/article/271342
出典:ムーのクラスのネットワーク

おすすめ

転載: www.cnblogs.com/ceshi2016/p/12123629.html