個人ブログのナビゲーションページ(クリック、右側にリンク個人のブログを開くために):ダニエルは、テクノロジ・スタックにあなたを取ります
1概要
この記事では、ビルドにビッグデータプラットフォームHadoopの分散環境を説明し、名前ノードMASTER1に展開されるHadoopのノードに対して、次の図を展開し、SecondaryNameNodeはMASTER2で展開、スレーブ1は、スレーブ2は、slave3は、ノードのデータノードに配備されました
NN =名前ノード(ノード名)
SND = SecondaryNameNode(名前ノードセカンダリノード)
DN =データノード(ノードデータ)
2準備
(1)製造例5サーバ
如:MASTER1、MASTER2、スレーブ1、スレーブ2、slave3
(2)ファイアウォールのすべてのサーバーをシャットダウンします
$ systemctl stop firewalld
$ systemctl disable firewalld
(3)として、以下、各サーバの/ etc / hostsファイルを修正されます。
192.168.56.132 master1
192.168.56.133 master2
192.168.56.134 slave1
192.168.56.135 slave2
192.168.56.136 slave3
注:サーバーの/ etc / hostnameファイルへの変更対応し、それぞれMASTER1、MASTER2、スレーブ1、スレーブ2、slave3
それぞれのサーバに共通のユーザおよびグループを作成する(4)
$ groupadd hadoop #增加新用户组
$ useradd hadoop -m -g hadoop #增加新用户
$ passwd hadoop #修改hadoop用户的密码
Hadoopのユーザーに切り替えます。su Hadoopの
各サーバのパスワードのないログイン設定の間(5)、それぞれに別のサービスを行います
$ ssh-keygen -t rsa #一直按回车,会生成公私钥
$ ssh-copy-id hadoop@master1 #拷贝公钥到master1服务器
$ ssh-copy-id hadoop@master2 #拷贝公钥到master2服务器
$ ssh-copy-id hadoop@slave1 #拷贝公钥到slave1服务器
$ ssh-copy-id hadoop@slave2 #拷贝公钥到slave2服务器
$ ssh-copy-id hadoop@slave3 #拷贝公钥到slave3服务器
注:上記の操作は、動作のHadoopにログインするようにユーザーに要求します
(6)はHadoopのパッケージ、Hadoopの-2.7.5.tar.gzをダウンロード
公式サイトのアドレスします。https://archive.apache.org/dist/hadoop/common/hadoop-2.7.5/
インストールの展開を開始する3
(1)は、Hadoopのインストールディレクトリを作成します。
$ mkdir -p /home/hadoop/app/hadoop/{tmp,hdfs/{data,name}}
(2)アンパック/ホーム/ Hadoopの/アプリ/下のHadoopへのインストールパッケージ
$tar zxf tar -zxf hadoop-2.7.5.tar.gz -C /home/hadoop/app/hadoop
(3)の/ etc /プロファイルを修正、Hadoopの環境変数を配置しました
JAVA_HOME=/usr/java/jdk1.8.0_131
JRE_HOME=/usr/java/jdk1.8.0_131/jre
HADOOP_HOME=/home/hadoop/app/hadoop/hadoop-2.7.5
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export PATH
(4)リフレッシュ環境変数
$source /etc/profile
4設定のHadoop
(1)配置core-site.xml
$ vi /home/hadoop/app/hadoop/hadoop-2.7.5/etc/hadoop/core-site.xml
<configuration>
<property>
<!-- 配置HDFS的NameNode所在节点服务器 -->
<name>fs.defaultFS</name>
<value>hdfs://master1:9000</value>
</property>
<property>
<!-- 配置Hadoop的临时目录 -->
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/app/hadoop/tmp</value>
</property>
</configuration>
デフォルトの設定住所:http://hadoop.apache.org/docs/r2.7.5/hadoop-project-dist/hadoop-common/core-default.xml
(2)構成HDFS-site.xmlの
$ vi /home/hadoop/app/hadoop/hadoop-2.7.5/etc/hadoop/hdfs-site.xml
<configuration>
<property>
<!-- 配置HDFS的DataNode的备份数量 -->
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/hadoop/app/hadoop/hdfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/hadoop/app/hadoop/hdfs/data</value>
</property>
<property>
<!-- 配置HDFS的权限控制 -->
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>
<property>
<!-- 配置SecondaryNameNode的节点地址 -->
<name>dfs.namenode.secondary.http-address</name>
<value>master2:50090</value>
</property>
</configuration>
デフォルトの設定住所:http://hadoop.apache.org/docs/r2.7.5/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml
(3)配置mapred-site.xml
$ cp /home/hadoop/app/hadoop/hadoop-2.7.5/etc/hadoop/mapred-site.xml.template /home/hadoop/app/hadoop/hadoop-2.7.5/etc/hadoop/mapred-site.xml
$ vi /home/hadoop/app/hadoop/hadoop-2.7.5/etc/hadoop/mapred-site.xml
<configuration>
<property>
<!-- 配置MR运行的环境 -->
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
(4)配置yarn-site.xml
$ vi /home/hadoop/app/hadoop/hadoop-2.7.5/etc/hadoop/yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<!-- 配置ResourceManager的服务节点 -->
<name>yarn.resourcemanager.hostname</name>
<value>master1</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master1:8032</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master1:8088</value>
</property>
</configuration>
デフォルトの設定住所:http://hadoop.apache.org/docs/r2.7.5/hadoop-yarn/hadoop-yarn-common/yarn-default.xml
(5)配置スレーブ
$ vi /home/hadoop/app/hadoop/hadoop-2.7.5/etc/hadoop/slaves
slave1
slave2
slave3
設定ファイルの奴隷はどこノードサービスデータノードであります
(6)が配置されたHadoopの-ENV
次のようにHadoop-env.sh、ファイルJAVA_HOME環境変数を変更します。
$ vi /home/hadoop/app/hadoop/hadoop-2.7.5/etc/hadoop/hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_131
(7)糸-ENV配置
変更yarn-env.shファイルJAVA_HOME環境変数は、次の通り:
$ vi /home/hadoop/app/hadoop/hadoop-2.7.5/etc/hadoop/yarn-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_131
(8)mapred-ENVを配置しました
次のように、mapred-env.shファイルJAVA_HOME環境変数を変更します。
$ vi /home/hadoop/app/hadoop/hadoop-2.7.5/etc/hadoop/mapred-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_131
リモートコピーmaser2するように構成されているHadoopのMASTER1(9)、スレーブ1、スレーブ2、slave3サーバ
$ scp -r /home/hadoop/app/hadoop hadoop@master2:/home/hadoop/app/
$ scp -r /home/hadoop/app/hadoop hadoop@slave1:/home/hadoop/app/
$ scp -r /home/hadoop/app/hadoop hadoop@slave2:/home/hadoop/app/
$ scp -r /home/hadoop/app/hadoop hadoop@slave3:/home/hadoop/app/
5スタートテスト
(1)初期のHadoopクラスタノードMASTER1
$ hadoop namenode -format
(2)スタートHadoopクラスタ
$ start-dfs.sh
$ start-yarn.sh
(3)は成功したクラスタを確認した場合
実績のあるクラスター50070の導入を成功下記のブラウザのアクセスポート、
付属のJava / C / C ++ /機械学習/アルゴリズムとデータ構造/フロントエンド/アンドロイド/パイソン/プログラマ読み/シングル書籍図書Daquanは:
(乾燥した個人ブログでそこ開くには、右クリックしてください):技術的なドライ開花を
===== >> ①[Javaのダニエルは、高度なへの道であなたを取る] << ====
===== >> ②[+ ACMアルゴリズムデータ構造ダニエルは、高度なへの道であなたを取る] << ===
===== >> ③[データベースダニエルは高度への道であなたを取る] << == ===
===== >> ④[ダニエルWebフロントエンドの高度への道であなたを取るために] << ====
===== >> ⑤[機械学習のPythonとダニエルあなたにエントリを取ります高度なロード] << ====
===== >> ⑥[建築家ダニエルは高度への道であなたを取る] << =====
===== >> ⑦[C ++ダニエルは、道路上をお連れに進ん] << ====
===== >> ⑧[ダニエルは高度への道であなたを取るのiOS] << ====
=====> > ⑨[ウェブセキュリティダニエルは、高度なへの道であなたを取る] ===== <<
===== >> ⑩[Linuxオペレーティングシステムを、ダニエルは高度への道であなたを取る] = << ====何の未収果物はありません、あなたの若い友人は、友人がテクニックを学びたい願って、道路の方法ですべての障害を克服することは、技術に結びつける本を理解して、コードをノック、原理を理解し、実践を行くことになります決定しましたそれはあなたの将来、あなたの夢を生活、あなたの仕事をもたらすでしょう。