Hadoop疑似配布インストール（SSHパスワードなしのログインで、収集して確認してください）
目次
Hadoop疑似配布インストール（SSHパスワードなしのログインで、収集して確認してください）
1つ：インストール前の準備
インストール前の作業：仮想マシンとLinuxシステムがインストールされており、hadoopインストールパッケージとjdkインストールパッケージの準備ができていることを確認します
使用できるインストールツールとネットワークディスクのダウンロードリンクは次のとおりです[ピックアップ]。
- hadoop-2.7.7.tar.gz
リンク：https
：//pan.baidu.com/s/18tMvslkfjyulrip9-2IitQ抽出コード：aoye
2. jdk-8u211-linux-x64.tar
リンク：https
：//pan.baidu.com/s/1lGoPs6zwmkysw4uW2PhXag抽出コード：aoye
3.WinSCP-5.17.5-セットアップ
リンク：https
：//pan.baidu.com/s/137BmJIktaGzN0p4fylbUhQ抽出コード：aoye
2：jdkのインストール、Java環境の構成
1.hadoop-2.7.7.tar.gzインストールパッケージとjdk-8u211-linux-x64.tarインストールパッケージをLinuxシステムにアップロードします[Windowsシステムのインストールパッケージはwinscpツールを使用してLinuxシステムにアップロードできます]
2.インストールパッケージをルートディレクトリの下の/ optディレクトリに配置します[インストールパッケージをアップロードするときに、対応するディレクトリを選択できます。後で移動することもできます]
3.jdkを構成します[/ optの下にディレクトリjdkを作成し、ファイルの下にjdkを解凍します]
4. / etc / profileディレクトリで環境変数とスタートアッププログラムを設定し、次のように入力します。vi/ etc / profile [ iを押して編集モードに入り、編集後、escを押してから：wqと入力して保存して終了します]
#JAVA ENV
export JAVA_HOME = / jdk unzip directory
export PATH = $ JAVA_HOME / bin：$ PATH
5.更新して編集したファイルを有効にし、次のように入力します：source / etc / profile
6. Java環境が正常にインストールされているかどうかを確認するには、次のように入力します。java-version
3：疑似分散Hadoop環境のインストール
Hadoopインストールモード：ローカルインストール、疑似分散インストール、完全分散インストール
インストールプロセス：インストールパッケージを解凍します-環境を構成します-5つの構成ファイルを変更します-namenodeをフォーマットします-hadoopを開始します
1.hadoop-2.7.7.tar.gzインストールパッケージを解凍します[ / optディレクトリにhadoopディレクトリを作成し、そのディレクトリにhadoop-2.7.7.tar.gzを抽出します]
解凍後のディレクトリは次のとおりです。
2.Hadoop環境を構成します[ / etc / profileディレクトリで構成し、vi / etc / profileと入力し、iを押して編集モードに入り、escを押してから：wqと入力して保存し、編集後に終了します]
#HADOOP ENV
export HADOOP_HOME = / hadoop解圧目录exportPATH
= $ HADOOP_HOME / bin：$ HADOOP_HOME / sbin：$ PATH
3.更新してファイルを有効にし、環境構成が成功したかどうかを確認します[更新：source / etc / profile ;構成が成功したかどうかを確認します：hadoop ]
4.hadoop解凍ディレクトリの下に/ etc / hadoopディレクトリを入力します[例：cd /opt/hadoop/hadoop-2.7.7/etc/hadoop]
5.5つの構成のいずれかを変更します。hadoop-env.sh[ iを押して編集モードに入り、編集後、escを押してから：wqと入力して保存して終了します]
6.5つの構成ファイルのいずれかを変更します。hdfs-site.xml[../ etc / hadoopディレクトリに入力します：vi hdfs-site.xml ]
<property>
<name> dfs.replication </ name>
<value> 1 </ value>
</ property>
<property>
<name> dfs.permissions </ name>
<value> 1 </ value>
</ property>
7.5つの構成ファイルの1つを変更します。core-site.xml
<property>
<name> fs.defaultFS </ name>
<value> hdfs：//主机名：9000 </ value>
</ property>
<property>
<name> hadoop.tmp.dir </ name>
＃tmp ディレクトリは、対応するディレクトリ<value> /opt/hadoop/hadoop-2.7.7/tmp </ value>
</ property>に作成する必要があります。
8.5つの構成ファイルのいずれかを変更します。mapred-site.xml[この構成ファイルがない場合は、mapred-site.xml.templateをコピーして生成し、次のように入力します。cpmapred-site.xml.template mspred-site.xml ]
<property>
<name> mapreduce.framwork.name </ name>
<value> yarn </ value>
</ property>
9.5つの構成ファイルのいずれかを構成します。yarn-site.xml
<property>
<name> yarn-resourcemanager.hostname </ name>
<value>主机名</ value>
</ property>
<property>
<name> yarn.nodemanager.aux-services </ name>
<value> mapreduce_shuffle < / value>
</ property>
10. namenodeをフォーマットします[hadoop解凍のメインディレクトリに戻り、binディレクトリに入り、フォーマットするコマンドを入力します：hdfs namenode -format ]
成功後のスクリーンショットは次のとおりです。
[フォーマットエラーがある場合は、報告されたログに従って検索できます。変更された構成ファイルにエラーがないはずです。！】
11.hadoopを開始します[hadoopインストールディレクトリの下に/ sbinディレクトリを入力し、開始するコマンドを入力します ：./ start-all.sh ]
注：パスワードを複数回入力する必要があるため、面倒です。最後に、パスワードなしのログイン構成が提供されます（Hadoopを起動するためにパスワードを複数回入力する必要はありません）。パスワード入力はありません。表示されたら、入力後にEnterキーを押すだけです。
12.正常に起動した後、次の5つのプロセスが必要です[namenode、datanode、secondarynamenode、resourcemanager。nodemanager]、表示するには入力してください： jps
13. Hadoopが構成され、正常に開始されました。ブラウザーにポート番号を入力して、Webページにアクセスできます。ホスト名：50070
ページにアクセスできないという問題があります。これは次の方法で解決できます。
1.ファイアウォールのステータスを確認し、ファイアウォールをオフにします。
2. Windows側のIPマッピングを構成します[次のディレクトリを入力します：C：\ Windows \ System32 \ drivers \ etc、hostsファイルを変更してLinuxホストのIPとホスト名を追加します。保存して終了することを忘れないでください]
4：SSHパスワードなしのログイン設定[簡単な起動]
1. hadoopを閉じます[sbinディレクトリの下：./ stop-all.sh]
2. /root/.sshディレクトリに入ります：cd〜/ .ssh
3. ssh-keygen -t rsaと入力します[3回入力して、2つのファイルid_rsa（秘密鍵）、id_rsa.pub（共有鍵）を生成します]
4.ssh-copy-idホスト名[公開鍵をマシンにコピーしてパスワードなしでログインする]
5.設定後は、次のようになります[起動後にパスワードを入力する必要はありません]
5：要約
上記は、Hadoop疑似配布のインストールとパスワードなしのログインです。不明な場所については多くの説明があります。