Hiveローカルインストールチュートリアル

ハイブの3つのインストールモード:

  • 埋め込みモード:埋め込みDerbyデータベースを使用してメタデータを保存します。メタデータは共有できません。これはハイブのデフォルトのインストール方法ですが、一度に接続できるクライアントは1つだけです。
  • ローカルモード:外部データベースはメタデータの保存に使用されます。ローカルモードはハイブと同じプロセスでメタストアサービスを使用するため、このモードではメタストアサービスを個別に開始する必要はありません。
  • リモートモード:メタデータは外部データベースに保存されます。このモードでは、メタストアサービスを個別に開始し、各クライアントを構成ファイルでメタストアサービスに接続するように構成します。リモートモードでは、メタストアサービスとハイブは異なるプロセスで実行されます。


ローカルモードとリモートモード:基本的に、ハイブのデフォルトのメタデータストレージメディアは、組み込みのDerbyデータベースとMySQLデータベースで置き換えられます。そのため、ハイブサービスが同じ日に接続されている限り、どのディレクトリでもハイブが起動します。その後、メタデータの共有を実現するために、すべてのノードによってアクセスされるメタデータ情報は一貫しています。

Hiveインストールの組み込みインストール:

  • Hiveaインストールパッケージをダウンロードする
  • コマンドを入力します:ハイブに入るにはbin / hive

Hiveローカルインストール

1. MySQLサービスをインストールします

ダウンロードしてMySQLをインストール
ここに画像の説明を挿入
mysqlのサービスを開始し
ここに画像の説明を挿入
、ダウンロードするとmariadbインストール
ここに画像の説明を挿入
mariadbサービスを開始し、
永続的なスタートmariadbサービス、
ログインMySQLサービス、
利用のmysql;
パスワード;
付与root権限は、リモートログインに使用することができ、
MySQLを終了し、
ログインMySQLのパスワードを、
ここに画像の説明を挿入

2.ハイブをインストールする

ハイブの圧縮パッケージをインポートします(rzを使用してアップロードすることもできます)。
ここに画像の説明を挿入
サーバーに
ここに画像の説明を挿入
解凍
ここに画像の説明を挿入
します。解凍たファイルの単純な名前をハイブに変更しますハイブを入力します。conf
ディレクトリを見つけます
。hive-env.shがないことを確認できるので、一時ファイルを使用してコピーを作成します
ここに画像の説明を挿入
構成ファイルを開く構成ファイルを
ここに画像の説明を挿入
変更
ここに画像の説明を挿入
する新しいhive-site.xmlファイル
ここに画像の説明を挿入
作成する次のコンテンツを追加する
ここに画像の説明を挿入

<configuration>
    <property>
          <name>javax.jdo.option.ConnectionURL</name>
          <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>
    </property>
    <property>
          <name>javax.jdo.option.ConnectionDriverName</name>
          <value>com.mysql.jdbc.Driver</value>
    </property>
     <property>
          <name>javax.jdo.option.ConnectionUserName</name>
          <value>root</value>
    </property>
     <property>
          <name>javax.jdo.option.ConnectionPassword</name>
          <value>123456</value>
    </property>
</configuration>

ハイブ-site.xmlファイルには、次のように、我々はにインポートする、データベース駆動型のファイルを使用していますハイブ/ libに(あなたも前提はyumのパッケージに必要である、RZを使用することができます)
ここに画像の説明を挿入
ハイブをhadoop01とhadoop02 hadoop03に設定をコピーしますで
ここに画像の説明を挿入
ここに画像の説明を挿入

3.ハイブ管理:

まず、最初にクラスターを起動する必要があります。
ここに画像の説明を挿入
ここに画像の説明を挿入
ハイブを開いた後
ここに画像の説明を挿入
次のプロセスが正常に表示され
ここに画像の説明を挿入
ます。hadoop02にビーラインを入力します(他のノードでも操作できます)
ここに画像の説明を挿入
。hadoop01
接続した後、ユーザー名とパスワードを入力します。接続が成功したことを確認できます(成功したエントリ)
ここに画像の説明を挿入
。操作はmysqlステートメントに似ています。データベースを確認します。
ここに画像の説明を挿入
ハイブを開いた後、sqlyogを使用してhadoop01のmysqlデータベースに接続します。更新すると、ハイブデータベースが表示され、すべてのメタデータテーブルがそこに保存されます。
ここに画像の説明を挿入
データベースの作成データベースの
ここに画像の説明を挿入
切り替え、テーブルの表示
ここに画像の説明を挿入

4. Hive内部テーブル操作

ここに画像の説明を挿入
ここに画像の説明を挿入
内部テーブルを作成し、2行目でコンマを区切り文字として使用して、テーブルにインポートします。
ここに画像の説明を挿入
テーブルは正常に作成されていることがわかりますが、データがないことが
ここに画像の説明を挿入
わかります。データをitcastデータベースのt_userテーブルに入れます。
ここに画像の説明を挿入
次に、テーブルにクエリを実行すると、データが
ここに画像の説明を挿入
ここに画像の説明を挿入
ここに画像の説明を挿入
削除されます。データをインポートする2番目の方法を見てみましょう。
ここに画像の説明を挿入
ここに画像の説明を挿入
データの場所を指定するためにデータのローカル入力パスを使用して、指定されたテーブルにデータをロードします。
ここに画像の説明を挿入
データの総数表示するには、ここでマップとリデュースが使用されていることがわかります。データの行をキーとして取りません。値は1で、reduceが追加されてから統計が追加されます。ここ
ここに画像の説明を挿入
にデータベースを配置するためのハイブのDBSテーブルのパスは、
ここに画像の説明を挿入
作成したテーブルです
ここに画像の説明を挿入

5. Hive外部テーブル操作

まず、いくつかの新しいデータを作成します。
ここに画像の説明を挿入
データを/ stuの下の分散ファイルシステムに配置し
ここに画像の説明を挿入
て、外部テーブル作成し、キーワードexternalを追加し、コンマを区切り文字として使用します。ファイルは、ローカルファイルシステムのルートディレクトリの下のstuから取得されますデータ。
ここに画像の説明を挿入
コマンドを実行するたびに、ここに表示が表示され、最後にctrl + cを使用して終了
ここに画像の説明を挿入
できます。また、ctrl + cを使用して終了できます
ここに画像の説明を挿入
考える:内部テーブルまたは外部テーブルの使用を選択するにはどうすればよいですか?
  すべての処理がハイブで行われる場合は内部テーブル
  を使用します。ハイブやその他の外部ツールを使用して同じデータセットのセットを処理する必要がある場合は、外部テーブルを使用
  し、データが大きい場合は外部テーブルを使用します

元の記事を72件公開 3のように 3527を訪問

おすすめ

転載: blog.csdn.net/id__39/article/details/105628118