CDH高可用性構成のHadoopクラスタのパフォーマンス



 

1、HDFS高可用性構成

dfs.namenode.edits.dir(名前ノード編集したディレクトリ):ローカル・ファイル・システムの名前ノードの編集上のディレクトリを作成します。名前ノード指定されていないデータディレクトリに保存されます。

dfs.journalnode.edits.dir(JournalNode編集したディレクトリ):名前ノードの編集を格納するために使用されるローカルファイルシステムディレクトリ。ディレクトリここで、ノードjournalnode、記憶editlogおよびその他の情報。

               

               

                 

 

                   

 

 

                  

                   

 

 

 

 

 

 

2糸高可用性構成

糸のHAを使用する場合は、ときに、タスクの糸の実行ハイブは、結果、次のエラーすることはできません

javax.servlet.ServletException:によって引き起こされるリダイレクトのためのプロキシサーバーを決定することができませんでした

問題:リダイレクトのためのプロキシサーバーを決定することができません。

解決策:無効YARN HA、唯一のマスターノードを使用して、すなわちのResourceManagerが、実際には、一般的な糸HAはまだ糸のタスクにハイブを実行することができ、正常な結果を得ることができ、それでも同じエラーを報告します

                   

                   

 

                  

 

 

                    

 

 

現在の動作環境は、できるが、通常の実行の成功した結果に来ているが、プログラムのスパークにハイブを行い、場合YARN HAの(ノード1、ノード2が配備されているのResourceManager)であります

リダイレクトプロキシの決定することができませんでしリダイレクトのためのプロキシサーバーを決定することができませんでした。しかし、このプログラムは、まだエラーがログインする必要があります。

test_tbから*を選択します。

SELECT COUNT(*)test_tbから。

test_tb値(2「ushionagisa」)に挿入します。

 

 

                    

 

おすすめ

転載: www.cnblogs.com/Raodi/p/11460848.html