Hadoopクラスタのインストール設定飼育係を構築するために-02

Hadoopクラスタのセットアップ-05マウント構成糸

HadoopクラスタのセットアップHDFSのインストール構成-04 

Hadoopクラスタのセットアップ-03コンパイルとインストールのHadoop

Hadoopクラスタのインストール設定飼育係を構築するために-02

Hadoopクラスタのセットアップ-01準備

この記録され、次にクラスタを構築し、インストール設定のZooKeeperを起動し、その役割は、飼育係は、それ自体が独立した小さなクラスターを構成する場合、クラスタ情報の同期化を行うことで、クラスタマシンは限りマシンが正しく、その後のZooKeeperクラスタを仕事として、一般的に奇数、半分以上であります最小構成は3であるので、フォロワーの残りのための指導者を選出するために自動的に動作し、働くことができます。

それは、ユーザの操作Hadoopのデフォルトは、この記事では、ほぼすべての操作のをマークされていないことに注意してください

書き込みバッチスクリプト上のすべての修正1.まず、

コピーし、最初の3を残しすることができ,, IPS内の2つのマシンに名前を付け、その後、削除しては、その後、いくつかのスクリプトの名前は、それを変更するものであり、内部参照名は、それを変更します。

私は良い変更することができhttps://www.lanzous.com/b849762/の 1qq6:パスワードを

2.飼育係をインストール

インストールパッケージは、ここでは、xshell RZコマンド飼育係のインストールパッケージをアップロードすることができhttps://www.lanzous.com/b849708/パスワード:8a10

[hadoop@nn1 ~]$ cd zk_op/
批量发送给三台机器
[hadoop@nn1 zk_op]$ ./zk_scp_all.sh ~/upload/zookeeper-3.4.8.tar.gz /tmp/   
查看是否上传成功
[hadoop@nn1 zk_op]$ ./zk_ssh_all.sh "ls -l /tmp | grep zoo*"  
批量解压到各自的/usr/local/目录下
[hadoop@nn1 zk_op]$ ./zk_ssh_root.sh tar -zxf /tmp/zookeeper-3.4.8.tar.gz -C /usr/local/
再次查看是否操作成功
[hadoop@nn1 zk_op]$ ./zk_ssh_all.sh "ls -l /usr/local/ | grep zoo*"  
批量改变/usr/local/zookeeper-3.4.8目录的用户组为hadoop:hadoop
[hadoop@nn1 zk_op]$ ./zk_ssh_root.sh chown -R hadoop:hadoop /usr/local/zookeeper-3.4.8
[hadoop@nn1 zk_op]$ ./zk_ssh_root.sh chmod -R 770 /usr/local/zookeeper-3.4.8
[hadoop@nn1 zk_op]$ ./zk_ssh_all.sh "ls -l /usr/local/ | grep zookeeper-3.4.8"  
批量创建软链接(可以理解为快捷方式)
[hadoop@nn1 zk_op]$ ./zk_ssh_root.sh ln - s /usr/local/zookeeper-3.4.8/ /usr/local/zookeeper
[hadoop@nn1 zk_op]$ ./zk_ssh_all.sh "ls -l /usr/local/ | grep zookeeper"
这里软链接的用户组合权限可以不用修改,默认为root或者hadoop都可以。  

/usr/local/zookeeper/conf/zoo.cfg変更

私は良い変更することができhttps://www.lanzous.com/b849762/の 1qq6:パスワードを

批量删除原有的zoo_sample.cfg文件,当然先备份为好
[hadoop@nn1 zk_op]$ ./zk_ssh_root.sh rm -f /usr/local/zookeeper/conf/zoo_sample.cfg
把我们准备好的配置文件放进去,批量。
[hadoop@nn1 zk_op]$ ./zk_scp_all.sh ~/zoo.cfg /usr/local/zookeeper/conf/

=================================================================================================

然后修改/usr/local/zookeeper/bin/zkEnv.sh脚本文件,添加日志文件路径
[hadoop@nn1 zk_op]$ vim /usr/local/zookeeper/bin/zkEnv.sh
ZOO_LOG_DIR=/data

把这个配置文件批量分发给其他机器
[hadoop@nn1 zk_op]$ ./zk_scp_all.sh /usr/local/zookeeper/bin/zkEnv.sh /usr/local/zookeeper/bin/
给5台机器创建/data目录,注意这里是给5台机器创建。用的没改过的原本批量脚本。
[hadoop@nn1 hadoop_base_op]$ ./ssh_root.sh mkdir /data
[hadoop@nn1 hadoop_base_op]$ ./ssh_root.sh chown hadoop:hadoop /data
[hadoop@nn1 hadoop_base_op]$ ./ssh_all.sh "ls -l | grep data"

 HDFSと糸が必要とされているため、突然、,,,その背後にある5 /データの上に作成されるのはなぜHDFSの後ろに今直接作成され、3台のマシン上で実行されています。

然后回到zk_op中,给前三台机器创建id文件。用于zookeeper识别
[hadoop@nn1 zk_op]$ ./zk_ssh_all.sh touch /data/myid

そして、_ 3台のマシンにしているこの文書ID値に追加_、。

最初:

"1"> /データ/ MYIDエコー 

第二段階:

"2"> /データ/ MYIDエコー 

第三段階:

"3"> /データ/ MYIDエコー

3.バッチ環境変数の設定

在nn1上切换到root用户更改系统环境变量
[hadoop@nn1 zk_op]$ su - root
[root@nn1 ~]# vim /etc/profile
文件在末尾添加
#set Hadoop Path
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_COMMON_HOME=${HADOOP_HOME}
export HADOOP_HDFS_HOME=${HADOOP_HOME}
export HADOOP_MAPRED_HOME=${HADOOP_HOME}
export HADOOP_YARN_HOME=${HADOOP_HOME}
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export HDFS_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export YARN_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native:/usr/lib64

export HBASE_HOME=/usr/local/hbase
export HIVE_HOME=/usr/local/hive
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin:$HIVE_HOME/bin:/usr/local/zookeeper/bin

その後、バッチは他の二つのマシンに送信されます

[hadoop@nn1 zk_op]$ ./zk_scp_all.sh /etc/profile /tmp/
[hadoop@nn1 zk_op]$ ./zk_ssh_root.sh cp -f /tmp/profile /etc/profile
批量检查一下
[hadoop@nn1 zk_op]$ ./zk_ssh_all.sh tail /etc/profile
批量source一下环境变量
[hadoop@nn1 zk_op]$ ./zk_ssh_root.sh source /etc/profile

4.バッチ開始飼育係

[hadoop@nn1 zk_op]$ ./zk_ssh_all.sh /usr/local/zookeeper/bin/zkServer.sh start
查看一下是否启动。看看有没有相关进程
[hadoop@nn1 zk_op]$ ./zk_ssh_all.sh jps

以下に示すようにプロセスを見ると、QPMプロセスが正常に開始されました示してい

ビューJPSプロセス

または単に状態を見て、

ビューの飼育係のステータス

まあ、飼育係のインストール構成は成功を収めました!

おすすめ

転載: www.cnblogs.com/finch-xu/p/11239108.html