Spark スタンドアロン HA (高可用性) モード

1. HAアーキテクチャの説明

---

2. ホストの計画

---

マスターノード	スレーブノード
hadoop002、hadoop005	hadoop003、hadoop004

動物園の飼育員
hadoop002 、hadoop003、hadoop004

3. Zookeeperのインストール

---

• Zookeeper のクラスター インストールを参照してください。

4.スパークの取り付け

---

1. インストールとデプロイメントについては、「Spark スタンドアロン クラスターのインストールとテスト ケース」を参照してください
   。 这里是4台虚拟机

2. Spark の高可用性を構成するには、spark-env.sh を変更するだけです。変更する必要がある具体的な内容は、次の表に示されています: hadoop002 のspark-env.sh を編集し、その内容を次の内容に置き換えます
   
   。

   export JAVA_HOME=/training/jdk1.8.0_171
   export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=hadoop002,hadoop003,hadoop004 -Dspark.deploy.zookeeper.dir=/spark"
   #history 配置历史服务
   export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=30 -Dspark.history.fs.logDirectory=/training/spark-2.4.8-bin-hadoop2.7/history"
   
        
        
         
         
   
        
        
         
         
   

   注:需要将spark-env.sh分发到其他节点中，即分发到hadoop003，hadoop004和hadoop005

5. テストを実行する

---

1. Hadoop002 で Spark クラスターを起動し、Spark インストール ディレクトリに入り、次のコマンドを実行します。sbin/start-all.sh
2. Hadoop005 でマスターを起動し、Spark インストール ディレクトリに入り、次を実行します。sbin/start-master.sh
3. ブラウザで hadoop002 の Spark によって提供される Web インターフェイスを表示し、hadoop002:8080以下に示すように「」と入力します。
   
4. ブラウザで hadoop005 の Spark によって提供される Web インターフェイスを表示し、hadoop005:8080以下に示すように「」と入力します。
   
5. 高可用性テスト
   1) hadoop002 でマスターを強制終了します: kill + プロセス ID または stop-master.sh コマンドを使用してシャットダウンします
   2) ブラウザにhadoop005:8080次のように入力し、明確に変更してページを更新します。以下の図に示すように、
   
   この時点で、Spark マスターは切り替えを完了し、高可用性を実現しています。

1. HAアーキテクチャの説明

---

2. ホストの計画

---

マスターノード	スレーブノード
hadoop002、hadoop005	hadoop003、hadoop004

動物園の飼育員
hadoop002 、hadoop003、hadoop004

3. Zookeeperのインストール

---

• Zookeeper のクラスター インストールを参照してください。

4.スパークの取り付け

---

1. インストールとデプロイメントについては、「Spark スタンドアロン クラスターのインストールとテスト ケース」を参照してください
   。 这里是4台虚拟机

2. Spark の高可用性を構成するには、spark-env.sh を変更するだけです。変更する必要がある具体的な内容は、次の表に示されています: hadoop002 のspark-env.sh を編集し、その内容を次の内容に置き換えます
   
   。

   export JAVA_HOME=/training/jdk1.8.0_171
   export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=hadoop002,hadoop003,hadoop004 -Dspark.deploy.zookeeper.dir=/spark"
   #history 配置历史服务
   export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=30 -Dspark.history.fs.logDirectory=/training/spark-2.4.8-bin-hadoop2.7/history"
   
        
        
       
       
   
        
        
       
       
   

   注:需要将spark-env.sh分发到其他节点中，即分发到hadoop003，hadoop004和hadoop005

5. テストを実行する

---

1. Hadoop002 で Spark クラスターを起動し、Spark インストール ディレクトリに入り、次のコマンドを実行します。sbin/start-all.sh
2. Hadoop005 でマスターを起動し、Spark インストール ディレクトリに入り、次を実行します。sbin/start-master.sh
3. ブラウザで hadoop002 の Spark によって提供される Web インターフェイスを表示し、hadoop002:8080以下に示すように「」と入力します。
   
4. ブラウザで hadoop005 の Spark によって提供される Web インターフェイスを表示し、hadoop005:8080以下に示すように「」と入力します。
   
5. 高可用性テスト
   1) hadoop002 でマスターを強制終了します: kill + プロセス ID または stop-master.sh コマンドを使用してシャットダウンします
   2) ブラウザにhadoop005:8080次のように入力し、明確に変更してページを更新します。以下の図に示すように、
   
   この時点で、Spark マスターは切り替えを完了し、高可用性を実現しています。