Hadoopの生態--Hive(1) - ハイブエントリ

何ですか?

ハイブ、構造化データを処理するためのベースのHadoopデータウェアハウス。OLAPに適しています。HDFSにデータベース内のデータ構造(スキーマ)、データ記憶処理。 

重いタスクのMRロット、MRを書くための努力を簡単にするためには、ハイブは、MRプログラムに類似したSQLクエリを変換して、HDFS上のクエリにジョブを送信することができますフレームワークを提供し、それがHDFSれているテーブルを照会します?これは、ジョブは、クエリ時にHDFS上のファイルを処理することで、ハイブのテーブルにマップされたファイルのHDFSが提供するもう一つの特徴ハイブ、です。

そして、マッピングテーブルとハイブHDFSとの関係はどのようにそれを記録するには?マッピングテーブルを実行するテーブルとファイルをHDFS mysalマッピング関係ハイブ(MySQLを使用して格納されたメタデータ)を記録する際にハイブが使用され

 

ハイブは、MRプログラムに類似したSQLクエリを変換する責任があり、MySQLのストアドマッピング関係テーブルを照会し、ファイルするために、HDFS HDFS上のこれらのプログラムを実行します。

、HDFSにディレクトリを作成し、データ処理のためにそれにデータを保存するディレクトリをmysqlのレコードテーブル定義:作業メカニズムを確立するためにハイブ内の表。

データベースとデータウェアハウス:

本質的にデータベースとデータウェアハウスは、整理したデータを管理するために、モデルに基づいて、同じです。ちょうど2つの異なる使用シナリオ、より多くのビジネスデータベースのトランザクション処理(OLTP)データベースが稼働し、データウェアハウス、データ分析および処理(OLAP)を懸念している分析データベースで、2のデータベースモデルは非常に異なるものになります。

データベーストランザクションは、一般的に等速度、完全性、データの一貫性の追求、データベースモデルは、パラダイムモデルに準拠して参照整合性を保証するために、データの冗長性を最小限にするために、データウェアハウスは、データ分析の効率は、複雑なクエリおよびデータの速度との間のストレスデータベースモデルにおける相関分析は、データウェアハウスは、データ分析の効率を改善するために、多次元モデルを使用することを好みます。

 データベースやデータウェアハウスとの違いについて話し合い、実際には、それは議論のOLTPとOLAPであります:

 オンライントランザクション処理のOLTP(オンライントランザクション処理):データ処理は、大きく分けて2つのカテゴリに分けることができ 、 オンライン(オンライン分析処理)分析処理OLAP 。OLTPは、従来のリレーショナルあるデータベースなどの銀行取引などの主要なアプリケーション、主に基本的な、日常の取引、。OLAPデータウェアハウスシステムは、意思決定支援に焦点を当てた、洗練された分析操作をサポートし、メインアプリケーションであり、かつ直感的なクエリ結果を提供します。 

OLTP:オンライントランザクション処理。基本的なサービスの正常な動作を担当。また、トランザクション指向処理システム、それは通常、レコードの数が少ないために、オンラインデータベースの日常業務であるとして知られており、特定のビジネス用に変更。ユーザーの操作の応答時間の問題、データセキュリティ、整合性と同時実行性について心配はユーザー数をサポートしています。主として演算処理するためのデータの主な手段として、従来のデータベース管理システム。

OLAP:オンライン分析処理。データ蓄積の際に生成されたビジネスの価値を発見するための責任。一般的には、経営の意思決定をサポートし、特定のテーマのために過去のデータを分析します。


 ハイブのインストールと展開

何がどこに展開するには、展開する前に検討最初に展開する必要があります。
何を展開? ハイブは、HDFS(ストアデータ)は、MySQL(メタデータを格納します)。マシンにインストールされているハイブは、Hadoopのを持っている必要があり、このマシンは、MySQLにアクセスすることができます(リモートまたはローカル)
どこに展開するには? 当該HDFSのハイブは、それが任意の位置に設置することができ、クライアントであり、そして唯一HDFSは必ずしもHDPクラスタにすることができない通信することができます。
 ここでの手順は以下のとおりです。
0、HadoopのインストールとMySQL
インストールのHadoop:Hadoopクラスタ構造、およびクライアントとして実装Hadoopのハイブ機に搭載され、インストールMySQLは:機械ハイブを通信することができる機械に取り付けることができます。
1、ハイブダウンロード、解凍します
2、ハイブ-site.xmlの$ HIVE_HOME / confに増加
MySQLの構成ストアは、アドレスデータベース、ユーザー名やパスワードなどの情報を、メタデータ。コンテンツ:
<?xmlのバージョン= " 1.0 "?> 
< xmlの?-スタイルシートタイプ= " テキスト/ XSL"のhref = "configuration.xsl"?> 
<設定> 
    <プロパティ> 
        <名前> javax.jdo。オプション .ConnectionURL </名前> 
         <>はjdbc:mysqlの:// 192.1681.8> 
    </プロパティ> 
    <プロパティ> 
        <名前> javax.jdo。オプション .ConnectionDriverName </名前> 
        <>はcom.mysql.jdbc.Driver </> 
    </プロパティ> 
    <プロパティ> 
        <名前> javax.jdo。オプション .ConnectionUserName </名前> 
        <>ルート</> 
    <
    <プロパティ> 
        <名前> javax.jdo。オプション .ConnectionPassword </名前> 
        <>管理者</> 
    </プロパティ> 
</設定>
コードの表示
図3は、LIBに、依存関係をコピーします
MySQLのJARパッケージの対応するバージョンをダウンロードするのmysql-コネクタ-javaの-5.1.37.jar通知達人公式サイト
図4に示すように、構成およびhivehome hadoophome
コンテンツを追加するために設定ファイルを編集します
vimのは/ etc / profile   
構成を検証
ソースは/ etc / profile
5、コンフィギュレーションの使用を支持するいくつかの
Linuxは、現在のディレクトリで、コンテンツを追加、ファイル.hivercを作成します
[ルート@のcentos7〜]#のVimの.hiverc
真= hive.cli.print.header設定します。
真= hive.cli.print.current.db設定します。
クエリ結果が設定されている場合、現在使用中のディスプレイライブラリーを設定つ以上のディスプレイ・ヘッダ

 

おすすめ

転載: www.cnblogs.com/Jing-Wang/p/10990886.html