Hadoop の分散インストールと構成 - Zhihu

Linux環境の準備

ホスト名の変更: ホスト名

192.168.16.142	192.168.16.51	192.168.16.76

action-1 のマッピングファイルを構成します: vi /etc/hosts

action-1 の hosts ファイルを他の 2 つのノードにアップロードします。

scp /etc/hosts アクション-2:/etc/

SSH 構成:

鍵生成コマンド: ssh-keygen

action-1 の公開鍵を 3 つのノードにコピーします。

キーのコピー: ssh-copy-id action-1、ssh-copy-id action-2、ssh-copy-id action-3

パスワードの削除が成功したかどうかをテストします。

SSH アクション-2

ファイアウォールを一時的にオフにします: systemctl stop firewalld

ファイアウォールを永続的にオフにします: systemctl disable firewalld

JDKのインストール

少し

core-site.xml 構成ファイルを変更する

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/src/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
</configuration>

hdfs-site.xml 構成ファイルを変更する

<configuration>
  <property>
     <name>dfs.replication</name>
     <value>2</value>
  </property>
</configuration>

mapred-site.xml 構成ファイルを変更する

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop01:10020</value>
</property>
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop02:19888</value>
</property>

yarn-site.xml 構成ファイルを変更する

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop01</value>
</property>
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>106800</value>
</property>

hadoop-env.shを変更する

jdkの絶対パスを変更する

スレーブファイルを設定する

(1) マスターファイルを以下のように設定します。

マスター

スレーブ1

スレーブ2

Hadoop環境変数を追加する

少し

同時通訳

scp -r [ローカルファイルまたはフォルダー] アクション-2: [パス]

初期化コマンド

hadoop ネームノード -format

開始コマンド:

start-dfs.sh および start-yarn.sh

履歴プロセスを開始します: mr-jobhistory-daemon.sh start Historyserver

次のプロセスが開始されていることを確認します

アクション-1:

名前ノード
データノード
リソースマネージャー
ノードマネージャー
セカンダリ名ノード
ジョブ履歴サーバー

アクション-2:

データノード
ノードマネージャー

アクション-3:

データノード
ノードマネージャー

### さまざまな管理インターフェイスを表示する

ネームノード管理インターフェイス: http://ip:50070

データノード管理インターフェイス: http://ip:50075

糸管理インターフェース: http://ip:8088

タスク履歴表示インターフェイス: http://ip:19888

他の

Namenode マネージャーファイルシステム

データノードはファイルシステムです

セカンダリ NameNode は、HDFS の状態を監視するために使用される補助的なバックグラウンドプログラムです。

JobTracker デーモンは、アプリケーションを Hadoop に接続するために使用されます。