ディレクトリ
ハイブの3つのインストールモード:
- 埋め込みモード:埋め込みDerbyデータベースを使用してメタデータを保存します。メタデータは共有できません。これはハイブのデフォルトのインストール方法ですが、一度に接続できるクライアントは1つだけです。
- ローカルモード:外部データベースはメタデータの保存に使用されます。ローカルモードはハイブと同じプロセスでメタストアサービスを使用するため、このモードではメタストアサービスを個別に開始する必要はありません。
- リモートモード:メタデータは外部データベースに保存されます。このモードでは、メタストアサービスを個別に開始し、各クライアントを構成ファイルでメタストアサービスに接続するように構成します。リモートモードでは、メタストアサービスとハイブは異なるプロセスで実行されます。
注:
ローカルモードとリモートモード:基本的に、ハイブのデフォルトのメタデータストレージメディアは、組み込みのDerbyデータベースとMySQLデータベースで置き換えられます。そのため、ハイブサービスが同じ日に接続されている限り、どのディレクトリでもハイブが起動します。その後、メタデータの共有を実現するために、すべてのノードによってアクセスされるメタデータ情報は一貫しています。
Hiveインストールの組み込みインストール:
- Hiveaインストールパッケージをダウンロードする
- コマンドを入力します:ハイブに入るにはbin / hive
Hiveローカルインストール
1. MySQLサービスをインストールします
ダウンロードしてMySQLをインストール
mysqlのサービスを開始し
、ダウンロードするとmariadbインストール
mariadbサービスを開始し、
永続的なスタートmariadbサービス、
ログインMySQLサービス、
利用のmysql;
パスワード;
付与root権限は、リモートログインに使用することができ、
MySQLを終了し、
ログインMySQLのパスワードを、
2.ハイブをインストールする
ハイブの圧縮パッケージをインポートします(rzを使用してアップロードすることもできます)。
サーバーに
解凍
します。解凍したファイルの単純な名前をハイブに変更します。ハイブを入力します。conf
ディレクトリを見つけます
。hive-env.shがないことを確認できるので、一時ファイルを使用してコピーを作成します
構成ファイルを開く構成ファイルを
変更
する新しいhive-site.xmlファイル
を作成する次のコンテンツを追加する
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
</property>
</configuration>
ハイブ-site.xmlファイルには、次のように、我々はにインポートする、データベース駆動型のファイルを使用していますハイブ/ libに(あなたも前提はyumのパッケージに必要である、RZを使用することができます)
ハイブをhadoop01とhadoop02 hadoop03に設定をコピーしますで
3.ハイブ管理:
まず、最初にクラスターを起動する必要があります。
ハイブを開いた後、
次のプロセスが正常に表示され
ます。hadoop02にビーラインを入力します(他のノードでも操作できます)
。hadoop01
に接続した後、ユーザー名とパスワードを入力します。接続が成功したことを確認できます(成功したエントリ)
。操作はmysqlステートメントに似ています。データベースを確認します。
ハイブを開いた後、sqlyogを使用してhadoop01のmysqlデータベースに接続します。更新すると、ハイブデータベースが表示され、すべてのメタデータテーブルがそこに保存されます。
データベースの作成データベースの
切り替え、テーブルの表示
4. Hive内部テーブル操作
内部テーブルを作成し、2行目でコンマを区切り文字として使用して、テーブルにインポートします。
テーブルは正常に作成されていることがわかりますが、データがないことが
わかります。データをitcastデータベースのt_userテーブルに入れます。
次に、テーブルにクエリを実行すると、データが
削除されます。データをインポートする2番目の方法を見てみましょう。
データの場所を指定するためにデータのローカル入力パスを使用して、指定されたテーブルにデータをロードします。
データの総数を表示するには、ここでマップとリデュースが使用されていることがわかります。データの行をキーとして取りません。値は1で、reduceが追加されてから統計が追加されます。ここ
にデータベースを配置するためのハイブのDBSテーブルのパスは、
作成したテーブルです
5. Hive外部テーブル操作
まず、いくつかの新しいデータを作成します。
データを/ stuの下の分散ファイルシステムに配置し
て、外部テーブルを作成し、キーワードexternalを追加し、コンマを区切り文字として使用します。ファイルは、ローカルファイルシステムのルートディレクトリの下のstuから取得されますデータ。
コマンドを実行するたびに、ここに表示が表示され、最後にctrl + cを使用して終了
できます。また、ctrl + cを使用して終了できます。
考える:内部テーブルまたは外部テーブルの使用を選択するにはどうすればよいですか?
すべての処理がハイブで行われる場合は内部テーブル
を使用します。ハイブやその他の外部ツールを使用して同じデータセットのセットを処理する必要がある場合は、外部テーブルを使用
し、データが大きい場合は外部テーブルを使用します。