インストール前の準備0.5
ファイアウォールオフ0.1ターン
1つの サービスは、ステータスiptablesの 2サービスのiptablesの停止を
0.2閉じるSELinuxの
奇妙な問題のSELinuxの多くが引き起こされます。
ユーザーを作成します。1.
1 useraddのHadoopの-d /ホーム/ hadoopecho 2のHadoop | passwdの Hadoopの--stdin
2.SSH無料の密な構成
2.1キーファイルを生成
1つ のssh-keygenは -t rsaの-P '' -f〜/。SSH / id_rsaと
2.2は、各ノードに公開鍵をコピーします。
1 SCP id_rsa.pub XXX @ IP：〜/。SSH / ファイル 2 猫 id_rsa.pub >> authorized_keysに
2.3設定SSHDの構成は、以下の二つを有効にします
はいRSAAuthentication
はいPubkeyAuthentication
パスワードまたはSSH hostnamexxたの入力を求められた場合、彼らはログ情報は/ var / log /安全なを表示する必要があるエラーの詳細を確認することで、ディレクトリのパーミッションは、通常は間違っている、
権利は一般的にパスワード・ファイルが600に設定されて置かれ、600の.sshます。chmod / XXX
設定ファイルを変更します。3.
1 3.1コア- site.xmlの 2 3 <構成> 4 <プロパティ> 5 <名前> fs.default.name </名前> 6 <値> HDFS：// HMASTER /：9000 </値> 7 <最終> 真 </最終> 8 </プロパティ> 9 <プロパティ> 10 <名前> hadoop.tmp。DIR </名前> 11 <value>のファイル：/ホーム/ Hadoopのを/ tmp </ value>は 12 </プロパティ> 13 <プロパティ> 14 <名前> IO。ファイル .buffer。 131072 </値> 16 </プロパティ> 17 </構成> 18 19 20 3.2 hdfs- site.xmlの 21 22 <構成> 23 <プロパティ> 24 <名前> dfs.replication </名前> 25 <値> 1 < / value>は 26 </プロパティ> 27 <プロパティ> 28 <名前> dfs.data。DIR </名前> 29 <値> /ホーム/ Hadoopの/ HDFS /データ</ value>は 30 </プロパティ> 31 <プロパティ> 32 < DIR </名前> 34 <値> /ホーム/ Hadoopの/ HDFS /名前</値> 35 </プロパティ> 36 <プロパティ> 37 <名前> dfs.webhdfs.enabled </名前> 38 <値> 真 </値> 39 </プロパティ> 40 </構成> 41 42 43 3.3 mapred- site.xmlの 44 45 <構成> 46 <プロパティ> 47 <名前> mapred.job.tracker </名前> 48 <値> HMASTER：8021 </ value>は 49 </プロパティ> 50 <プロパティ> 51<名前> mapred.local。DIR </名前> 52 <値> / TMP / Hadoopの/ mapred /ローカル</値> 53 </プロパティ> 54 <プロパティ> 55 <名前> mapred.system。DIR </名前> 56 <値> / TMP / Hadoopの/ mapred /システム</値> 57 </プロパティ> 58 <プロパティ> 59 <名前> mapred.tasktracker.map.tasks.maximum </名前> 60 <値> 2 </値> 61 </プロパティ> 62 <プロパティ> 63 <名前> mapred.tasktracker.reduce.tasks.maximum </名前> </プロパティ> 66 <プロパティ> 67 <名前> mapred.child.java.opts </名前> 68 <値> Xmx200m </値> 69 </プロパティ> 70 <プロパティ> 71 <名前> mapred.jobhistory.address </名前> 72 <値> HMASTER：10020 </値> 73 </プロパティ> 74 <プロパティ> 75 <名前> mapred.jobhistory.webapp.address </名前> 76 <値> HMASTER：19888 </値> 77 </プロパティ> 78 </構成> 79 80 3。4 yarn- site.xmlの 81 82<設定> 83 <！ -サイト特有の糸構成プロパティ- > 84 <プロパティ> 85 <名前> yarn.resourcemanager.address </名前> 86 <値> HMASTER：8032 </ value>は 87 </ property>の 88 <プロパティ> 89 <名前> yarn.nodemanager.aux-サービス</名前> 90 <値> mapreduce.shuffle </値> 91 </プロパティ> 92 <プロパティ> 93 <名前> yarn.nodemanager.webapp.address < /名前> 94 <値> HMASTER：8088 </ value>の 95 </プロパティ> 96 </構成>
注
マスターノードの/ etc / hosts最初の2行はコメントアウトしなければなりません
＃127.0.0.1はlocalhost localhost.localdomainをlocalhost4 localhost4.localdomain4オラクル11g-
＃:: 1 localhostのlocalhost.localdomainをlocalhost6 localhost6.localdomain6
または127.0.0.1に再生されますサービス関連のアクセスの拒否が生じ名前ノードサービス。
3.5環境変数の設定
1つの PATH = $ PATH：$ HOME / binに：$ HOME / sbinに：$ HADOOP_HOME / sbinに：$ HADOOP_HOME / binに 2 JAVA_HOME =は/ usr / local / srcに/ jdk1。8 3輸出HADOOP_HOME = /ホーム/ Hadoopの/ Hadoopの 4輸出JAVA_HOME =は/ usr / local / srcに/ jdk1。8 5輸出HADOOP_COMMON_LIB_NATIVE_DIR = $ HADOOP_HOME / libに/ ネイティブ 6輸出LD_LIBRARY_PATH = $ HADOOP_HOME / libに/ネイティブ
3.6スレーブ設定ファイル
書き込みスレーブIPの各行、例えば
[@ hadoop1のHadoopのHadoop] $ CATスレーブ
192.168.43.199
4.初期化
4.1 HDFSファイルシステムフォーマット
Hadoopの名前ノード-format
それは初期化の成功を示し、ステータス0で終了参照してください。
マスタ、スレーブはJPSとプロセスを表示
名前ノード、二次名前ノード、データノード法線を有します。
5.webシステム
マスター：50070名前ノードは、のWebアドレスである
19888 jobhistory Webアドレス：マスター