Mysql、Hive、Sqoop疑似分散インストール

その他 2021-03-03 04:16:45 訪問数: null

環境への備え

1.インストール済み：Centos6.5、hadoop-2.6.0-cdh5.10.0.tar.gz、hbase-1.2.0-cdh5.10.0.tar.gz、jdk-8u144-linux-x64.tar.gz

2.インストールするもの：hive-1.1.0-cdh5.10.0.tar.gz、sqoop-1.4.6-cdh5.10.0.tar.gz

1つ、Mysqlのインストール

1.MySQLをオンラインでインストールします

yumを使用してmysqlをオンラインでインストールします。

yum install mysql-server

2.mysqlサービスのステータスを表示します

mysqlステータスを表示するには、コマンドを使用します

service mysqld status

3.mysqlサービスを開始します

mysqlサービスを開始し、コマンドを使用します

service mysqld start

4. mysqlrootユーザーのパスワードを設定します

Mysqlがインストールされたばかりで、デフォルトのrootユーザーにはパスワードがありません。mysqlにログインしてrootユーザーのパスワードを設定してください。
初めてログインするときに、次のコマンドを入力します。

mysql -u root -p

パスワードの入力：デフォルトではパスワードはありません。Enterキーを押すだけです。

次に、次のように入力します。

set password for root@localhost=password('root');

2回目のログインには、次のコマンドを入力します。mysql-u root-pパスワードはrootです。

5.ハイブアカウントを作成します

ハイブクライアントをインストールするには、Hadoopインストールと同様のmysqlメタデータベースを使用し、新しいユーザーを作成する必要があります。ここでは、たとえば、ハイブユーザーを作成します

create user 'hive' identified by 'hive';

すべてのリモートアドレスは、ハイブユーザーを介してデータベースにアクセスできます

grant all on *.* to 'hive'@'%' identified by 'hive';
flush privileges;

次のコードを使用して、mysqlでさまざまなユーザーを作成できます

create user 'root'@'hadoop' identified by 'root';

  1. 'root' @ 'hadoop' -------> 'ユーザー名' @ 'ホスト名'

  2. 'root' --------> rootはパスワードを意味します

mysqlユーザーテーブルユーザーを表示する

select host ,user,password from mysql.user;

mysql> select host ,user,password from mysql.user;
+-----------+------+-------------------------------------------+
| host      | user | password                                  |
+-----------+------+-------------------------------------------+
| hadoop    | root | *81F5E21E35407D884A6CD4A731AEBFB6AF209E1B |
| 127.0.0.1 | root | *81F5E21E35407D884A6CD4A731AEBFB6AF209E1B |
| hadoop    |      |                                           |
| hadoop    | hive | *4DF1D66463C18D44E3B001A8FB1BBFBEA13E27FC |
| %         | hive | *4DF1D66463C18D44E3B001A8FB1BBFBEA13E27FC |
| localhost | root | *81F5E21E35407D884A6CD4A731AEBFB6AF209E1B |
+-----------+------+-------------------------------------------+
6 rows in set (0.00 sec)

6.ハイブデータベースを作成します

hiveユーザーを使用してmysqlにログインします

mysql -h hadoop -uhive -p （密码为 hive）

データベースハイブを作成する

mysql> create database hive;

すべてのデータベースを表示

mysql> show databases;

2、ハイブのインストール

1.インストールパッケージをダウンロードします

CDHバージョン：http：//archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.10.0/

ここからhive-1.1.0-cdh5.10.0.tar.gzのインストールパッケージをダウンロードし、計画ディレクトリにアップロードします。

2.Hiveインストールパッケージを解凍します

解凍コマンド：

 tar -zxvf hive-1.1.0-cdh5.10.0.tar.gz

3.ソフト接続を作成して、ソフト接続を作成します。

ln -s hive-1.1.0-cdh5.10.0 hive

4.構成ファイルを変更します

1）hive-log4j.propertiesを変更します

Hiveインストールパッケージを解凍した後は、hive-log4j.properties.templateテンプレートファイルのみがあります。テンプレートを介してhive-log4j.propertiesファイルのコピーをコピーする必要があります。

mv hive-log4j.properties.template hive-log4j.properties

以下を変更します。

vi hive-log4j.properties

hive.log.dir=/home/chenbo/hadoop/app/hive/logs #目录提前创建

2）hive-env.shを変更します

Hiveインストールパッケージを解凍した後は、hive-env.sh.templateテンプレートファイルのみがあります。テンプレートからhive-env.shファイルをコピーする必要があります。

mv hive-env.sh.template hive-env.sh

以下を変更します。

vi hive-env.sh

# Set HADOOP_HOME to point to a specific hadoop install directory
 export HADOOP_HOME=/home/chenbo/app/hadoop

# Hive Configuration Directory can be controlled by:
 export HIVE_CONF_DIR=/home/chenbo/app/hive-1.1.0/conf

3）hive-site.xmlを変更します

CDHバージョンのHiveインストールパッケージが解凍された後、hive-site.xmlファイルはありません。Apacheバージョンの解凍されたファイルからhive-default.xml.templateテンプレートファイルを取得して、次のコピーをコピーできます。 hive-site.xmlファイル。

以下を変更します。

<configuration>
	<property>
		<name>javax.jdo.option.ConnectionURL</name>
		<value>jdbc:mysql://hadoop/hive?createDatabaseIfNotExist=true</value>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionDriverName</name>
		<value>com.mysql.jdbc.Driver</value>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionUserName</name>
		<value>hive</value>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionPassword</name>
		<value>hive</value>
	</property>
</configuration>

5.環境変数を追加します

# HIVE_HOME
export HIVE_HOME=/home/chenbo/app/hive-1.1.0
export PATH=$HIVE_HOME/bin:$HIVE_HOME/conf:$PATH

環境変数を有効にする

source /etc/profile

6. mysqlドライバーパッケージを追加します。mysql-connector-java-5.1.38.jarをダウンロードし、mysqlドライバーパッケージをハイブのlibディレクトリにコピーします。

6.ハイブサービスの起動とテスト

1）HDFSおよびYARNサービスを開始します

sbin/start-dfs.sh
sbin/start-yarn.sh

2）ハイブサービスを開始します

bin/hive

メタストアを個別に構成する場合は、最初にメタストアサービスを開始してから、hive.bin / hive --service metastorebin / hiveを開始する必要があります。

3）テストラン

①テーブルの作成ハイブサービスによるテーブルの作成
CREATE TABLE stu(id INT,name STRING) ROW FORMAT DELIMITED FIELDSTERMINATED BY '\t' ;
②テストデータセットを作成し、データファイルを作成します
vi /home/chenbo/hadoop/app/hive/stu.txt

00001	zhangsan
00002	lisi
00003	wangwu
00004	zhaoliu
③データをHiveテーブルにロードする次のコマンドでデータをHiveテーブルにロードします
load data local inpath '/home/chenbo/hadoop/app/hive/stu.txt' into table stu;
④標準SQLステートメントクエリハイブテーブルデータによるテーブルデータクエリ
select * from stu;

3、Sqoopのインストール

1.インストールパッケージをダウンロードします

CDHバージョン：http：//archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.6-cdh5.10.0.tar.gz

ここからsqoop-1.4.6-cdh5.10.0.tar.gzのインストールパッケージをダウンロードし、計画ディレクトリにアップロードします

2.Hiveインストールパッケージを解凍します

解凍コマンド：

 tar -zxvf sqoop-1.4.6-cdh5.10.0.tar.gz

3.ソフト接続を作成して、ソフト接続を作成します。

ln -s sqoop-1.4.6-cdh5.10.0.tar.gz sqoop

4.構成ファイルを変更します

sqoop-env.shを変更します

#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/home/chenbo/app/hadoop

#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/home/chenbo/app/hadoop

#set the path to where bin/hbase is available
export HBASE_HOME=/home/chenbo/app/hbase-1.2.0

#Set the path to where bin/hive is available
export HIVE_HOME=/home/chenbo/app/hive-1.1.0

#Set the path for where zookeper config dir is
#export ZOOCFGDIR=

5.環境変数を追加します

# SQOOP_HOME
export SQOOP_HOME=/home/chenbo/app/sqoop-1.4.6
export PATH=$SQOOP_HOME/bin:$SQOOP_HOME/conf:$PATH

環境変数を有効にする

source /etc/profile

6. mysqljarパッケージを追加します

1）mysql依存関係パッケージをsqooplibディレクトリにコピーします。

2）/home/chenbo/app/hive-1.1.0/libディレクトリのhive-exec-1.1.0-cdh5.10.0.jarを/home/chenbo/app/sqoop-1.4.6/lib/にコピーします。内容

cp ./hive-exec-1.1.0-cdh5.10.0.jar /home/chenbo/app/sqoop-1.4.6/lib/

7.インストールが成功したかどうかをテストします

[chenbo@hadoop app]$ sqoop help
Warning: /home/chenbo/app/sqoop-1.4.6/../hcatalog does not exist! HCatalog jobs will fail.
Please set $HCAT_HOME to the root of your HCatalog installation.
Warning: /home/chenbo/app/sqoop-1.4.6/../accumulo does not exist! Accumulo imports will fail.
Please set $ACCUMULO_HOME to the root of your Accumulo installation.
Warning: /home/chenbo/app/sqoop-1.4.6/../zookeeper does not exist! Accumulo imports will fail.
Please set $ZOOKEEPER_HOME to the root of your Zookeeper installation.
20/03/16 12:14:38 INFO sqoop.Sqoop: Running Sqoop version: 1.4.6-cdh5.10.0
usage: sqoop COMMAND [ARGS]

Available commands:
  codegen            Generate code to interact with database records
  create-hive-table  Import a table definition into Hive
  eval               Evaluate a SQL statement and display the results
  export             Export an HDFS directory to a database table
  help               List available commands
  import             Import a table from a database to HDFS
  import-all-tables  Import tables from a database to HDFS
  import-mainframe   Import datasets from a mainframe server to HDFS
  job                Work with saved jobs
  list-databases     List available databases on a server
  list-tables        List available tables in a database
  merge              Merge results of incremental imports
  metastore          Run a standalone Sqoop metastore
  version            Display version information

おすすめ

転載: blog.csdn.net/weixin_44322234/article/details/106268517
おすすめ
これは Linus が最も耐えられないエピソードです - Unreal Engine のコード仕様により、汚い言葉、スレーブ、マスターの使用が禁止されています
ランキング
図10は、1〜20の繰り返しの間の乱数を生成し、DESCを出力しません
何をすべきかについてのPMOの話
Windows mingw64 の最も簡単なインストール構成
JVM-ガベージコレクション
ネットワークアーキテクチャ
詳細な使用Pythonの収率（未完）
eoj 1021 配列を使用して n クイーン問題を解決します (矛盾するクイーン対数を出力します)
2020-08-05-ハンガリーアルゴリズム
Pythonが曜日を決定します
[ホワイト] Day22道路は、分類アルゴリズムの概要の質問を磨きます
アーカイブ
もっと
2024-05-25(1)
2024-05-24(11)
2024-05-23(35)
2024-05-22(9)
2024-05-21(36)
2024-05-20(5)
2024-05-19(0)
2024-05-18(30)
2024-05-17(6)
2024-05-16(24)

コードワールド

© 2018 codetd.com