何ですか?
ハイブ、構造化データを処理するためのベースのHadoopデータウェアハウス。OLAPに適しています。HDFSにデータベース内のデータ構造(スキーマ)、データ記憶処理。
重いタスクのMRロット、MRを書くための努力を簡単にするためには、ハイブは、MRプログラムに類似したSQLクエリを変換して、HDFS上のクエリにジョブを送信することができますフレームワークを提供し、それがHDFSれているテーブルを照会します?これは、ジョブは、クエリ時にHDFS上のファイルを処理することで、ハイブのテーブルにマップされたファイルのHDFSが提供するもう一つの特徴ハイブ、です。
そして、マッピングテーブルとハイブHDFSとの関係はどのようにそれを記録するには?マッピングテーブルを実行するテーブルとファイルをHDFS mysalマッピング関係ハイブ(MySQLを使用して格納されたメタデータ)を記録する際にハイブが使用され
ハイブは、MRプログラムに類似したSQLクエリを変換する責任があり、MySQLのストアドマッピング関係テーブルを照会し、ファイルするために、HDFS HDFS上のこれらのプログラムを実行します。
、HDFSにディレクトリを作成し、データ処理のためにそれにデータを保存するディレクトリをmysqlのレコードテーブル定義:作業メカニズムを確立するためにハイブ内の表。
データベースとデータウェアハウス:
本質的にデータベースとデータウェアハウスは、整理したデータを管理するために、モデルに基づいて、同じです。ちょうど2つの異なる使用シナリオ、より多くのビジネスデータベースのトランザクション処理(OLTP)データベースが稼働し、データウェアハウス、データ分析および処理(OLAP)を懸念している分析データベースで、2のデータベースモデルは非常に異なるものになります。
データベーストランザクションは、一般的に等速度、完全性、データの一貫性の追求、データベースモデルは、パラダイムモデルに準拠して参照整合性を保証するために、データの冗長性を最小限にするために、データウェアハウスは、データ分析の効率は、複雑なクエリおよびデータの速度との間のストレスデータベースモデルにおける相関分析は、データウェアハウスは、データ分析の効率を改善するために、多次元モデルを使用することを好みます。
データベースやデータウェアハウスとの違いについて話し合い、実際には、それは議論のOLTPとOLAPであります:
オンライントランザクション処理のOLTP(オンライントランザクション処理):データ処理は、大きく分けて2つのカテゴリに分けることができ 、 オンライン(オンライン分析処理)分析処理OLAP 。OLTPは、従来のリレーショナルあるデータベースなどの銀行取引などの主要なアプリケーション、主に基本的な、日常の取引、。OLAPデータウェアハウスシステムは、意思決定支援に焦点を当てた、洗練された分析操作をサポートし、メインアプリケーションであり、かつ直感的なクエリ結果を提供します。
OLTP:オンライントランザクション処理。基本的なサービスの正常な動作を担当。また、トランザクション指向処理システム、それは通常、レコードの数が少ないために、オンラインデータベースの日常業務であるとして知られており、特定のビジネス用に変更。ユーザーの操作の応答時間の問題、データセキュリティ、整合性と同時実行性について心配はユーザー数をサポートしています。主として演算処理するためのデータの主な手段として、従来のデータベース管理システム。
OLAP:オンライン分析処理。データ蓄積の際に生成されたビジネスの価値を発見するための責任。一般的には、経営の意思決定をサポートし、特定のテーマのために過去のデータを分析します。
ハイブのインストールと展開
<?xmlのバージョン= " 1.0 "?> < xmlの?-スタイルシートタイプ= " テキスト/ XSL"のhref = "configuration.xsl"?> <設定> <プロパティ> <名前> javax.jdo。オプション .ConnectionURL </名前> <値>はjdbc:mysqlの:// 192.168。1.8:値> </プロパティ> <プロパティ> <名前> javax.jdo。オプション .ConnectionDriverName </名前> <値>はcom.mysql.jdbc.Driver </値> </プロパティ> <プロパティ> <名前> javax.jdo。オプション .ConnectionUserName </名前> <値>ルート</値> < <プロパティ> <名前> javax.jdo。オプション .ConnectionPassword </名前> <値>管理者</値> </プロパティ> </設定>