ビッグデータクラスター構築の経験

基本的な環境の準備

1各サーバーのファイアウォールをオフにします

systemctl status Firewalld.service＃ファイアウォールステータスの表示
systemctl stopファイアウォール
d.service＃ファイアウォールをオフにするsystemctl disable Firewalld.service＃ファイアウォールの起動を禁止する

2ホストファイルを構成します

編集の内容hostsファイル
のvi / etc / hostsファイルの
設定マスターノードでは、次のように：
。172.19.241を*マスター
172.19.241 *スレーブ2。
172.19.241 * slave3。
172.19.241 * SLAVE1。

3パスワードなしのログインを設定する

マスターノードとしてサーバーを選択し、ノード上で公開鍵
ssh-keygen -t rsaを生成して
から、公開鍵を各スレーブノード
ssh-copy-idslave1に送信し
ます。初めてパスワードが必要になります。設定が完了すると、マスターノードがアクセスします。各スレーブノードはパスワードを入力する必要がなくなります。

マスターノードのインストール

以下の操作はすべてマスターノードで実行されます

JDKをインストールします

1JDKダウンロード
https://www.oracle.com/technetwork/java/javase/downloads
2ダウンロードしたJDKをマスターノードにアップロードします
3解凍

/ usr / localの下にjavamkdir / usr / local / javaフォルダーを作成し、
jdkをこのフォルダーに抽出します
。tar-zxvfjdk-8u231-linux-x64.tar.gz -C / usr / local / java

4 配置JAVA_HOME

vi / etc / bashrc
は、ファイルの最後に以下を追加します。

export JAVA_HOME=/usr/local/java/jdk1.8.0_231
export JRE_HOME=${
    
    JAVA_HOME}/jre
export PATH=${
    
    JAVA_HOME}/bin:$PATH

5
ソース/ etc / bashrc
を確認し、java -versionと入力します

Hadoopをインストールする

1https：//hadoop.apache.org/releases.htmlをダウンロードします
2アップロードして解凍します

mkdir / usr / local / hadoop
tar -zxvf hadoop-2.10.1.tar.gz -C / usr / local / hadoop

3環境変数を構成します

cat >> / etc / profile << EOF
#Hadoop
export HADOOP_HOME = / usr / local / hadoop / hadoop-2.10.0
export PATH = $ PATH：$ HADOOP_HOME / bin
EOF

4検査

ソース/ etc /
profilehadoopバージョン

Hadoop構成ファイル

必要な主な構成ファイルは、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、masters、slavesです。

1コア構成

vi /usr/local/hadoop/hadoop-2.10.0/etc/hadoop/core-site.xml

その内容を次のように変更します。

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
</configuration>

2つのhdfs構成

vi /usr/local/hadoop/hadoop-2.10.0/etc/hadoop/hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.name.dir</name>
        <value>/usr/local/hadoop/hdfs/name</value>
    </property>
    <property>
        <name>dfs.data.dir</name>
        <value>/usr/local/hadoop/hdfs/data</value>
    </property>
</configuration>

3マップされた構成

cp / usr / local
/ hadoop / hadoop-2.10.0 / etc / hadoop / mapred-site.xml.template / usr / local / hadoop / hadoop-2.10.0 / etc / hadoop / mapred-site.xmlをコピーしてから
vi / usr / local / hadoop / hadoop-2.10.0 / etc / hadoop / mapred-site.xmlを編集します

<configuration>
  <property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
  </property>
   <property>
      <name>mapred.job.tracker</name>
      <value>http://master:9001</value>
  </property>
</configuration>

4糸構成

vi /usr/local/hadoop/hadoop-2.10.0/etc/hadoop/yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
    </property>
</configuration>

5マスター構成
新しいマスターファイルを作成します

vi /usr/local/hadoop/hadoop-2.10.0/etc/hadoop/masters

master

6つのスレーブ構成

vi /usr/local/hadoop/hadoop-2.10.0/etc/hadoop/slaves

slave1
slave2
slave3

スレーブノードの構成

1各スレーブノードにjdkを配布します

scp jdk-8u231-linux-x64.tar.gz slave1：/ usr / local

次に、それを/ usr / local / javaに解凍します

2各スレーブノードにHadoopを配布します。
最初に、構成済みのHadoopをパッケージにパッケージ化します。

tar -zcvf hadoop.tar.gz / usr / local / hadoop

次に、パックされたパッケージを各スレーブノードに分割します

scp hadoop.tar.gz slave1：/ usr / local

パッケージを解凍します

tar -zxcf hadoop.tar.gz -C / usr / local

3複数の構成ファイルを各スレーブノードに配布します

ホストファイル
scp / etc / hosts slave1：/ etc /を
配布します。プロファイルファイル
scp / etc / profile slave1：/ etc /を
配布します。bashrcファイル
scp / etc / bashrc slave1：/ etc /を配布します。

次に、構成が有効かどうかを確認します

source / etc / profile
source / etc / bashrc
java -version
hadoop version

問題がなければ、設定が完了したことを意味し、以下が起動です。

Hadoopスタートアップ

クラスターの起動、マスターノードで操作します。

1サービスを初めて開始する前に、namenodeをフォーマット
します。ワード操作を実行する必要があり、後で実行する必要はありません。

hadoopの目的-フォーマット

2開始

cd /usr/local/hadoop/hadoop-2.10.0
sbin / start-all.sh

3チェック
jpsコマンドを使用して、起動が成功したかどうかをチェックします。
マスターノードには
NamenodeプロセスとResourceManagerプロセスがあり、スレーブノードにはDatanodeプロセスとNodeManagerプロセスがあります。
4
hdfsにアクセスhttp：// master：50070 /
ヤーンにアクセスhttp：// master：8088 /を視覚的に表示

ビッグデータクラスター構築の経験

ビッグデータクラスター構築の経験

基本的な環境の準備

マスターノードのインストール

JDKをインストールします

Hadoopをインストールする

Hadoop構成ファイル

スレーブノードの構成

Hadoopスタートアップ

おすすめ