Hadoopのデータウェアハウスの構築と実行の初期化--hadoop

ユーザーが作成したファイルを使用してGridは、Hadoopのインストールを解凍し、対応するプロファイルを変更します

  • コア-site.xmlに
  • HDFS-site.xmlの
  • 糸-site.xmlに
  • mapred-site.xmlに
  • hadoop-env.sh
  • yarn-env.sh

から別のディレクトリにHadoopに3つのノードをコピーした後に変更

  • SCP -r ./hadoop-3.1.0ノードのIPから:/ホーム/グリッド

そして、4台のマシン上の各/ etc / profileファイルは、rootユーザーの環境変数に以下を追加します

輸出JAVA_HOME =は/ usr / javaの/ jdk1.8 .0_171 
輸出CLASSPATH =。$ JAVA_HOME / JRE / libに/ rt.jarの:$ JAVA_HOME / libに/ dt.jar:$ JAVA_HOME / libに/ tools.jarの
輸出HADOOP_HOME = /ホーム/グリッド/ Hadoopの-3.1 0.0 
輸出HADOOP_COMMON_HOME = $ HADOOP_HOME 
輸出HADOOP_HDFS_HOME = $ HADOOP_HOME 
輸出HADOOP_MAPRED_HOME = $ HADOOP_HOME 
輸出HADOOP_YARN_HOME = $ HADOOP_HOME 
輸出HADOOP_CONF_DIR = $ HADOOP_HOMEの/ etc / のHadoop 
輸出PATH = $ PATHに:$ JAVA_HOME / binに:$ HADOOP_HOME / binに:$ HADOOP_HOME / sbinに:$ HADOOP_HOME / libに
輸出HADOOP_COMMON_LIB_NATIVE_DIR= $ HADOOP_HOME / libに/ ネイティブ
輸出HADOOP_OPTS = " -Djava.library.path = $ HADOOP_HOME / libに" 
輸出LD_LIBRARY_PATH = $ HADOOP_HOME / libに/ネイティブ

環境変数を有効にします

ソースは/ etc / profile

次いで、ユーザは、プライマリ・マシン上のコマンドにグリッドを行います

フォーマットHDFSは、 
名前ノードHDFS - 形式の
 #を。そこに名前がbeensuccessfully成功した初期化に出力をフォーマットした場合開始HDFS 
スタート- dfs.sh
 YARNの開始 
start-yarn.shを

JPSを入力し、プロセスを表示し、次のプロセスはとても成功しなければなりません

21680 ノードマネージャ
 21539 のResourceManager
 20883 名前ノード
 25623 JPS
 21225 SecondaryNameNode
 21023データノード

途中で練習は二つの問題が発生します。

1.start-dfs.shは、時に次の警告が表示されます。

util.NativeCodeLoader WARN:ネイティブHadoopのライブラリをロードできませんため、ご使用のプラットフォームを...該当する場合に組み込み、Javaクラスを使用して

再実行してデバッグモードを使用して、あなたは、詳細なエラー情報を見ることができます

DEBUG util.NativeCodeLoaderは:ます。java.lang.UnsatisfiedLinkError:エラーでネイティブHadoopのロードに失敗しました何のHadoopない java.library.pathに

後処理ligt0610参照します。https://blog.csdn.net/ligt0610/article/details/47757013

すなわちhadoop-env.shれ、我々は次の行を追加します。

輸出HADOOP_OPTS = " -Djava.library.path = $ {HADOOP_HOME} / libに/ネイティブ/ "

start-dfs.shを再実行します。アラーム情報は表示されません。成功の実装

2.名前ノードは、Webインターフェイスを介して表示することはできません

見つかっお問い合わせの際に、hadoop3バージョンは、50070 9870のポートとなっています

ポートに入るから。成功!

 

20190616

それは新しい質問をしようとしに来たときに今日、記録されています

の実装

#フォーマットHDFSは、
名前ノードをHDFS - フォーマットを

プロンプトが表示されたら

SH:5:HDFS:見つかりません。

デフォルトでは、/ binに/ shのであるので、ユーザは、シェルの種類を指定していない場合には、useraddが疑われます。コマンドが認識されない原因となります。

次のステップ:

1:查看当前用户的shell类型命令: echo $SHELL

2:改变当前用户登录默认的shell:chsh -s /bin/bash username  或者使用usermod -s /bin/bash username命令

默认的shell改成/bin/bash之后正常了。
---------------------
作者:随风诗雨
来源:CSDN
原文:https://blog.csdn.net/suifengshiyu/article/details/40952771
版权声明:本文为博主原创文章,转载请附上博文链接!

未解决,排除该原因

おすすめ

転載: www.cnblogs.com/hipth/p/9042522.html