完全に分散インストール上のLinux仮想マシンのHadoop2.xバージョンをビルド

免責事項:この記事はブロガーオリジナル記事です、続くBY-SAのCC 4.0を著作権契約、複製、元のソースのリンクと、この文を添付してください。
このリンク: https://blog.csdn.net/qq_43687990/article/details/102635820

1.複数の仮想マシンを準備します

エイリアスがnode1、node2の、ノード3、ノード4です:私は、4台の仮想マシンを持っています

2.準備

1.jdkインストール
2.チェックした仮想マシンの別名が正しいか、以下のコマンドを表示
猫の/ etc / sysconfig / networkファイルを
ここに画像を挿入説明
同じ仮想マシンホストは、その缶のpingを確認するためにファイルかどうかを確認するために
CATの/ etc / hosts
ここに画像を挿入説明
3.チェックインの時間が同じです、次のコマンドで
、日付
ここに画像を挿入説明
時刻が矛盾している場合は、次のコマンドを経由して時刻同期を設定することができます「 -月-日時-分-年間秒」dtae -s、およびリアルタイムの設定は必ずしも正確に同じ時間ではありませんが、4台の仮想マシンへの時間一貫性のある
次のコマンドを使用して、セキュリティをチェックし4
の/ etc /のsysconfig / selinuxを猫
ここに画像を挿入説明

3.完全に分散構成方式
NomeNodeとしてNODE2
SNN(SecondaryNameNode)としてnode1およびDN(データノード)
データノードとしてノード3
データノードとしてノード4

4.鍵配布

プライベートキーは、構築するために私の指示にファイルを生成している疑似分散しているのHadoopの1.xのバージョンを設定した仮想マシン上で実現疑似分散
それが次のホームディレクトリ.shh隠しファイルを見つけることができるかどうかを確認する最初
ここに画像を挿入説明
でない場合は、sshのlocalhostと入力します。 (または別名)。
そして、ノード2からノード1 /ノード3 /ノード4への公開鍵(名称変更への公開鍵)を配布し、次の.sshディレクトリに進んで
コマンドを入力します。

scp  id_dsa.pub   node1:`pwd`/node2.pub #改命令将文件分发给node1节点,然后自己再将文件通过改命令分发给其他节点

node1の公認公開鍵に各ノードがファイルに追加された
猫〜/ node2.pub >>の〜/ .ssh / authorized_keysに

5 Hadoopの構成および他のノードに配布

などの下にノード2の下でのHadoop-2.6.5でファイルに疑似分散型のHadoopの1.xのバージョンを設定した仮想マシン上で実装し、我々は、Hadoopの一部に疑似分散型、完全分散構成を設定しています設定が設定されている、我々は、構成内の行の部分を変更します。だから、Hadoopのをバックアップ

cp -r hadoop/ hadoop_copy(备份的名字可以自己取)

疑似分散記事に建てられたのHadoop JAVA_HOME環境変数の二次構成は、ここで説明しているの話をされていません。
そして、
コア-site.xmlの設定

vi core-site.xml
在<configuration></configuration>中加入以下配置

<property>
        <name>fs.defaultFS</name>
        <value>hdfs://node2:9000</value> #指定主节点是哪个节点
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/var/sxt/hadoop/full</value> #指定数据上传的目录
    </property>


設定HDFS-site.xmlの

vi mapred-env.sh

在<configuration></configuration>中,加入以下内容
   <property>
        <name>dfs.replication</name>
        <value>2</value> #配置副本数,可以改变
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>node1:50090</value>#配置SecondaryNameNode
    </property>


ノードファイルからスレーブを設定するために使用されます

vi slaves
#将从节点加入到文件中
#如下图所示

ここに画像を挿入説明
Hadoopの各ノードに配布しました

 scp -r hadoop-2.6.5/ node1:`pwd`#将hadoop分发给node1节点

6.環境を設定します

「Hadoopの擬似分散型の1.xのバージョンをビルドするには、仮想マシン上に実装され、」私のブログ上の別の記事ではコンフィギュレーションのHadoopの設定や環境変数のJava環境変数を説明します。それらが構成されているため、ノード2は、ここでは、あなたが各ノードに配布の/ etc内のファイルをプロファイルすることができます。もちろん、HadoopのとJDKのバージョン内の他のノードは、一貫してします

scp /etc/profile node1:/etc/ #分发给node1节点

ソースは/ etc / profileで設定ファイルを再読み込み
JPS Javaのテスト環境によって、HDFSのHadoop環境によって、テストは成功を構築することです

7.フォーマットとHadoopクラスタを起動します

フォーマットクラスタは:HDFS -format名前ノードは、
クラスタを起動します。start-dfs.sh
各ノードのプロセスのJPSビューは、状況の始まり
50070:Web経由でのUIビューHadoop- IPを
停止:
ノード2:stop-dfs.sh

注意を払います

Hadoopの構成や設定JAVA_HOME二次コア-site.xmlに、コンフィギュレーション・HDFS-site.xml内の記事は、奴隷と自由なキー、Java環境変数を設定して、仮想マシンに」私に設定されているHadoopの環境変数を設定しますHadoopの疑似分散「ブログのビルドバージョン1.xを達成について説明しました。この記事では、意思を設定する方法については説明しません。

おすすめ

転載: blog.csdn.net/qq_43687990/article/details/102635820