まず、前提条件のインストール
クラスタ進歩はハイブ、Hadoopのインストール。
SCPハイブインストールパッケージは、参照インパラハイブの依存関係する必要があるため、すべてのノードのインパラにインストールする必要があります。
サポートCプログラムアクセスインタフェースへのHadoopフレームワークのニーズは、次の図を参照してください、ファイルので、パスはそのサポートを証明する場合はCインタフェースがあります。
第二に、インストールパッケージをダウンロードし、依存関係
インパラは、タールのパッケージがインストールされているだけrpmパッケージを提供していませんので。このように、取り付けインパラ、rpmパッケージをインストールする必要があります。rpmパッケージのみClouderaの会社が提供するので、rpmパッケージをダウンロードするにはClouderaの会社のWebサイトに行きます。
しかし、別の質問、非常に多く依存インパラ他のrpmパッケージのrpmパッケージは、一つは異なります見つけることができます、だけでなく、すべてのRPMパッケージをインストールするには、地元のyumソースに作られ、ダウンロードすることができます。ここでは、インストールするには、ローカルのyumソースを作成することを選択しました。
だから、最初にすべてのあなたはrpmパッケージをダウンロードする必要があり、次のアドレスをダウンロード
http://archive.cloudera.com/cdh5/repo-as-tarball/5.14.0/cdh5.14.0-centos6.tar.gz
cdh5.14.0-centos6.tar.gzダウンロードパッケージのが、5 Gについて、非常に大きいので##、解凍後も5 Gのためのスペースの最小値が必要です。当社の仮想マシンのディスクが制限され、それが十分ではないかもしれそして、ストレージcdh5.14.0-centos6.tar.gzパッケージ専用の仮想マシンに新しいディスクをマウントすることが可能です。
第三には、ローカルのyumの設定ソースを
1.解凍したパッケージのアップロード
tar -zxvf cdh5.14.0-centos6.tar.gz
RZのみ4Gの最大内のデータをアップロードすることができ、言い換える例SSLClientですためにアップロードする必要があります。
2、ローカルYUM構成するソース情報を
Apacheサーバサーバをインストールします
yum -y install httpd
service httpd start
chkconfig httpd on
3、ローカルのyumソースファイルを設定します
cd /etc/yum.repos.d
vim cdh.repo
Apacheのhttpdのを読むためにリンクを作成します。
LN -s /export/servers/cdh/5.14.0 / var / www / htmlと設定/ CDH
linuxの確認SELinuxが閉じ
临时关闭：
[root@localhost ~]# getenforce
Enforcing
[root@localhost ~]# setenforce 0
[root@localhost ~]# getenforce
Permissive
永久关闭：
[root@localhost ~]# vim /etc/sysconfig/selinux
SELINUX=enforcing 改为 SELINUX=disabled
重启服务rebootローカルのyumソースを介してブラウザへのアクセス、成功は以下のページがある場合。
ローカルのyumソースプロファイルlocalimp.repoはインパラをインストールする必要のあるすべてのノードに配布します。
CDの/etc/yum.repos.d/
SCP cdh.repoノード0 2：$ PWD
SCP cdh.repoノード0 3：$ PWD
第四に、インストールインパラ
1、クラスター計画
| サービス名 |
ノードから |
ノードから |
マスターノード |
| インパラカタログ |
|
|
ノード3 |
| インパラステートストア |
|
|
ノード3 |
| インパラ・サーバー（impalad） |
ノード1 |
ノード2 |
ノード3 |
計画では、マスタノードnode-3を次のコマンドを実行してインストール：
yum install -y impala impala-server impala-state-store impala-catalog impala-shell計画では、ノード1のノードを、ノード2は、以下の順序をインストールします。
yum install -y impala-server第五は、Hadoopの、ハイブ設定を変更します
3台のマシンが必要なクラスタ全体を操作するために、変更する必要があります。Hadoopのは、ハイブ通常のサービスと構成されたかどうか、それが前提のインパラ打ち上げ成功して使用するかどうか決定されます
1、構成変更ハイブ
vimの/export/servers/hive/conf/hive-site.xml
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://node01:3306/hive?createDatabaseIfNotExist=true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>hadoop</value>
</property>
<property>
<name>hive.cli.print.current.db</name>
<value>true</value>
</property>
<property>
<name>hive.cli.print.header</name>
<value>true</value>
</property>
<!-- 绑定运行hiveServer2的主机host,默认localhost -->
<property>
<name>hive.server2.thrift.bind.host</name>
<value>node01</value>
</property>
<!-- 指定hive metastore服务请求的uri地址 -->
<property>
<name>hive.metastore.uris</name>
<value>thrift://node01:9083</value>
<!-- 启动impala使用hive的时候要在这里指定的节点开启hive服务 -->
</property>
<property>
<name>hive.metastore.client.socket.timeout</name>
<value>3600</value>
</property>
</configuration>Cpは他の二つのマシンにハイブを設定します。
CD $ HIVE_HOME / confに
SCPハイブ-site.xmlのとnode02：$ PWD
SCPハイブ-site.xmlのnode03の：$ PWD
2、変更Hadoopの設定
すべてのノードは、次のフォルダを作成します
ます。mkdir -pは/ var /実行/ HDFS-ソケット
修正HDFS-site.xmlのすべてのノードを有効にするには、以下の設定変更を加えるには、HDFSを完了した後、クラスタを再起動します
VIMなど/ Hadoopの/ HDFS-site.xmlの
<property>
<name>dfs.client.read.shortcircuit</name>
<value>true</value>
</property>
<property>
<name>dfs.domain.socket.path</name>
<value>/var/run/hdfs-sockets/dn</value>
</property>
<property>
<name>dfs.client.file-block-storage-locations.timeout.millis</name>
<value>10000</value>
</property>
<property>
<name>dfs.datanode.hdfs-blocks-metadata.enabled</name>
<value>true</value>
</property>dfs.domain.socket.pathはソケットのローカルおよびデータノードDFSClient間の通信経路です。dfs.client.read.shortcircuit DFSClientローカルオープンリーディング制御データ、
更新Hadoopの設定ファイル、他のマシンへのscp。
CD $ HADOOP_HOMEの/ etc / Hadoopの
SCP -r HDFS-site.xmlのとnode02：$ PWD
SCP -r HDFS-site.xmlのnode03の：$ PWD
注：rootユーザーは、通常のユーザーは、このステップを必要とする、以下の操作する必要はありません。
：通常のユーザにHadoopを使用して、それが直接のような一般的なユーザー権限を与える場合は、このフォルダへのアクセス許可を与えます
chownコマンド-RのHadoop：Hadoopのは/ var /実行/ HDFS-ソケット/
3、再起動のHadoop、Hiveの
node01で次のコマンドを実行には、ハイブメタストアサービスとのHadoopを開始しました。
CD / $ HIVE
nohupをビン/ハイブ--serviceメタストア＆
nohupをビン/ハイブ- サービスhiveserver2＆
CD / $ HADOOP_HOME
sbinに/ stop-dfs.sh | sbinに/ start-dfs.sh
4. Hadoopのをコピーし、ハイブのプロフィール
インパラの設定ディレクトリの/ etc /インパラ/ confに、以下のコア - site.xmlに、HDFS-site.xmlのとハイブ-site.xmlのこのパスが必要。
すべてのノードは、次のコマンドを実行します
CP -r /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/core-site.xml /etc/impala/conf/core-site.xml
CP -r /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/hdfs-site.xml /etc/impala/conf/hdfs-site.xml
CP -r /export/servers/hive-1.1.0-cdh5.14.0/conf/hive-site.xml /etc/impala/conf/hive-site.xml
第六には、設定を変更インパラ
1、デフォルトのコンフィギュレーション・インパラを変更
すべてのノードは、デフォルトのプロファイルインパラを変更します
vimのは、/ etc / default /インパラ
IMPALA_CATALOG_SERVICE_HOST =ノード0 3
IMPALA_STATE_STORE_HOST =ノード03
scpコマンドは、/ etc / default /インパラとnode02：$ PWD
scpコマンドは、/ etc / default /インパラnode03の：$ PWD
2、MySQLのドライバを追加
/ etc / defaultを設定することで/インパラは、指定した名前のMySQLが駆動された場所で見つけることができます。
（3台のマシンを実行する必要があります）にルートへのソフトリンクを使用します
LN -s /export/servers/hive/lib/mysql-connector-java-5.1.32.jar /usr/share/java/mysql-connector-java.jar
3、変更BIGTOP設定を
JAVA_HOME BIGTOP変更パス（3機）
vimのは、/ etc / default / BIGTOP-utilsの
輸出JAVA_HOME = /エクスポート/サーバ/ jdk1.8.0_65
七、起動、シャットダウンインパラサービス
マスターノードnode-3は、以下の3つのサービス処理を開始します
サービスインパラステートストア開始
サービスインパラ・カタログスタート
サービスインパラ・サーバーの開始
スタートノード1とノードからノード-2プロモーターのインパラ・サーバー
サービスインパラ・サーバーの開始
ビューインパラのプロセスが存在します
PS -ef | グリップインパラ
すべてのインパラについて開始した後では/ var / log /インパラログデフォルト
あなたがストップを開始するために、サービスインパラコマンドをシャットダウンする必要がある場合することができます。まだ存在する場合、シャットダウン処理した後、削除するには、次の方法を取ることに注意してください。近くの消失と通常の状況下では。
ソリューション：
インパラ のWeb UI
Impaladアクセス管理インターフェースのhttp：//ノード-3：25000 /
Statestoredアクセス管理インターフェースのhttp：//ノード-3：25010 /
