viのは/ etc / sysconfig / networkファイル:1.ホスト名を変更します。
NETWORKING = yesの
HOSTNAME =ノード1
2.ドメイン名のマッピングを変更します。vi / etc / hostsファイル
127.0.0.1はlocalhost localhost.localdomainをlocalhost4 localhost4.localdomain4 //がある
:: 1 localhostのlocalhost.localdomainをlocalhost6 localhost6.localdomain6 //がある
192.168.10.11ノード1
192.168.10.12ノード2
192.168.10.13ノード3
192.168.10.14ノード4
3.日付の同期を設定します。
1)yumをインストールし、NTP //サーバがインストールされない場合は
カイからのブート設定//上のntpdのchkconfig)1.1を
2)のntpdate ntp.api.bz //タイムサーバー
。3)にntpdが起動し、サービス/ STOP /再起動/リロード
。4)を提供しますタイミング同期:crontabの-e
* / 10 * * * * ntpdateをtime.nist.gov //同期10分ごとに1回
、我々は)4.1 --listをchkconfigをすることができます|グレップのcronコマンドcronサービスの状況を確認するために開始
0をcrond: 1オフ:2オフ:3を有効4:有効:5を使用可能:6を有効:オフ
が1-4である場合は、システム開始レベルを、cronサービスが自動的に起動起動する
4.2)を開始してからcrondブートを設定:chkconfigをON crond
4.3)のcrontabを使用してパラメータ
-e [ユーザー名]:タイムテーブルを設定するために、テキストエディタの実装、デフォルトのテキストエディタはviのある
現在の時刻表を削除します。-r [ユーザー名]
-l [ユーザー名]:現在のタイムテーブルを一覧表示します
-v [ユーザー名]:ユーザーのcronジョブの状態を一覧表示します
4.ファイアウォールを閉じます:iptablesのオフのchkconfig
5.安全機構を閉じます。viの/ etc / selinuxを/ configに
SELinuxは無効=
SELINUXTYPE =目標
6.ssh密なログインを避けます
。1)yumのリスト|グレップのSSH
2)yumを-YのOpenSSH OpenSSHの-サーバー・クライアントをインストールします
。3)sshdが起動し、サービスを
4)sshdのONをchkconfigの。
5)// SSH-keygenは秘密鍵生成。
6)にssh-コピー-IDのノード1 // 無料電流密度のログイン・サーバは、緻密避けるnode1でログインすることができ
、すべて無料シークレットサーバー(名前ノード+データノード)をログに記録するセットの名前ノードとのResourceManagerサーバーを
完全分散型クラスタ構造を7.Hadoop:
1)配置文件
1.1 VI +は/ etc / profileの
#JAVA_HOME
輸出JAVA_HOME =は/ opt /モジュール/ jdk1.8.0_171
#HADOOP_HOMEの
輸出HADOOP_HOME =は/ opt /モジュール/ Hadoopの-2.6.5
輸出のPATH = $ PATHに:$ JAVA_HOME / binに:$ HADOOP_HOME / binに:$ HADOOP_HOME / sbinに
1.2 hadoop-env.sh mapred-env.sh yarn-env.sh
輸出JAVA_HOME =は/ opt /モジュール/ jdk1.8.0_171
1.3 HDFS-core.xml
<プロパティ>
<名前> fs.defaultFS </名前>
<値> HDFS://ノード1:8020 </ value>の
</ property>の
<プロパティ>
<名前> hadoop.tmp.dir </名前>
<値>は/ opt /データ/ Hadoopの< />値
</ property>の
1.4 HDFSサイト。XMLの
<プロパティ>
<名前> dfs.replication </名前>
<値> 2 </ value>の
</プロパティ>
<プロパティ>
<名前> dfs.namenode.secondary.httpアドレス</名前>
<値>ノード2:50090 </値>
</プロパティ>
1.5スレーブ
ノード2
ノード3
ノード4
1.6形式のファイルシステム:./ binに/ HDFS名前ノード-format
ビューのヘルプ:./ binに/名前ノード-h HDFS
1.7は、クラスタを起動します./ sbinに/ start-dfs.sh
1.8見ますUIのWeb:IP:50070:
ノード1:50070
1.9ヘルプ:
HDFSは
DFSをHDFS
ディレクトリを作成します。HDFS DFS -mkdir -p /ユーザー/ルート
ビューのディレクトリを:HDFS DFS -ls /
ファイルをアップロード:DFS HDFS -putのHadoop-2.6.5.tar.gz /ユーザー/ルート
1.10停止クラスタを:./ sbinに/停止-dfs.sh
8.Hadoop-HAビル
1)配置文件
1.1 VI + / etc / profileを
#JAVA_HOMEの
輸出JAVA_HOME = / OPT /モジュール/ jdk1.8.0_171
#HADOOP_HOME
エクスポートHADOOP_HOME = / OPT /モジュール/ Hadoopの-2.6.5
#ZOOKEEPER_HOMEの
輸出ZOOKEEPER_HOME = / OPT /モジュール/飼育係-3.4.6
輸出のPATH = $ PATHに:$ JAVA_HOME / binに:$ HADOOP_HOME / binに:$ HADOOP_HOME / sbinに:$ ZOOKEEPER_HOME / binに
1.2 hadoop-env.sh mapred-env.sh yarn-env.sh
輸出JAVA_HOME = / OPT /モジュール/ jdk1.8.0_171
1.3 HDFS-core.xml
<プロパティ>
<名前> fs.defaultFS </名前>
<値> HDFS:// MYCLUSTER </ value>の
</ property>の
<プロパティ>
<名前>のHadoop 。tmp.dir </名前>
<値>は/ opt /データ/ Hadoopの</ value>の
</ property>の
<プロパティ>
<名前> ha.zookeeper.quorum </名前>
<値>ノード2:2181、ノード3:2181、ノード4:2181 </ value>の
</プロパティ>
1.4 HDFS-site.xmlの
<プロパティ>
<名前> dfs.replication </名前>
<値> 2 </値>
</ property>の
<プロパティ>
<名前> dfs.nameservices </名前>
<値> MYCLUSTER </ value>の
</ property>の
<プロパティ>
<名前> dfs.ha.namenodes.mycluster </名前>
<値> NN1、NN2 </値>
</ property>の
<プロパティ>
<名前> dfs.namenode.rpc-address.mycluster.nn1 </名前>
<値>ノード1:8020 </値>
</ property>の
<プロパティ>
<名前> dfs.namenode.rpc-address.mycluster.nn2 < /名前>
<値> NODE2:8020 </値>
</ property>の
<プロパティ>
<名前> dfs.namenode.http-address.mycluster.nn1 </名前>
<値>ノード1:50070 </ value>の
</プロパティ>
<プロパティ>
<名前> dfs.namenode.http-address.mycluster.nn2 </名前>
<値>ノード2:50070 </ value>の
</ property>の
<プロパティ>
<名前> dfs.namenode.shared.edits.dir </名前>
<値> qjournal://ノード1:8485;ノード2:8485;ノード3:8485 / MYCLUSTER </ value>の
</ property>の
<プロパティ>
<名前> dfs.client.failover.proxy.provider.mycluster </名前>
<値> org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider </ value>の
</ property>の
<プロパティ>
<名前> dfs.ha.fencing.methods </名前>
<値> sshfence </ value>の
</ property>の
<プロパティ>
<名前> dfs.ha.fencing.ssh.private・キー・ファイル</名前>
<! -如果文件是id_dsaに这后边需要改成id_dsaに- >
<値> /ルート/ .ssh / id_rsaと</ value>の
</ property>の
<プロパティ>
<名前> dfs.journalnode.edits.dir </名前>
<値>は/ opt /データ/ Hadoopの/ジャーナル</ value>の
</ property>の
<プロパティ>
<名前> dfs.ha.automatic-failover.enabled </ >名前
<値>真</ value>の
</ property>の
1.5スレーブ
ノード2
ノード3
ノード4
1.6飼育係集群搭建
zoo.cfg
tickTime = 2000
DATADIR =は/ opt /データ/飼育係
CLIENTPORT = 2181
initLimit = 5
syncLimit = 2
server.1 =をノード2:2888:3888
server.2 =ノード3:2888:3888
server.3 =ノード4:2888:3888
/ OPT /データ/ ZooKeeperの/のMyID含量は[1,2,3]であります
実行する各ノードで1.7 ZK:開始zkServer.sh
正常に起動するかどうかを確認するために:zkServer.shステータス
journalnodeノードあたり1.8は、実行:あなたはHadoopクラスタを起動する前に//が開始されなければならないhadoop-daemon.shスタートjournalnodeはjournalnode
1.9同期をログイン編集
単一のクラスタと名前ノードがある場合
(フォーマットすでに名前ノード上で実行される)HDFSの名前ノードの-initializeSharedEdits
名前ノードを起動しhadoop-daemon.sh
HDFS名前ノード-bootstrapStandby(名前ノード形式で実行されていない)
場合は、新しいクラスタ
HDFS名前ノード-format
名前ノードhadoop-daemon.sh開始
HDFS名前ノード-bootstrapStandby(フォーマット名前ノード上で実行されていない)
1.10飼育係形式と開始
HDFS zkfc -formatZK(ノードをフォーマットすることができる名前ノード)
hadoop-daemon.shスタートzkfc(2 zkfc(すなわち名前ノード)ノードの開始)、または直接、すべてがstart-dfs.sh開始しました
9.yarnビルド
1)配置文件
mapred-site.xmlの
<プロパティ>
<名前> mapreduce.framework.name </名前>
<値>糸</値>
</ property>の
糸site.xmlの
<プロパティ>
<名前> yarn.nodemanager .aux-サービス</名前>
<値> mapreduce_shuffle </ value>の
</ property>の
<プロパティ>
<名前> yarn.resourcemanager.ha.enabled </名前>
<値>真</ value>の
</ property>の
<プロパティ>
<名前> yarn.resourcemanager.cluster-ID </名前>
<値>クラスタ1 </値>
</ property>の
<プロパティ>
<名前> yarn.resourcemanager.ha.rm-IDS </名前>
<値> RM1、RM2 </値>
</ property>の
<プロパティ>
<名前> yarn.resourcemanager.hostname.rm1 </名前>
<値>ノード3 </値>
</ property>の
<プロパティ>
<名前>糸.resourcemanager.hostname.rm2 </名前>
<値>ノード4 </ value>の
</ property>の
<プロパティ>
<名前> yarn.resourcemanager.zkアドレス</名前>
<値>ノード2:2181、ノード3:2181、ノード4:2181 </ value>の
</プロパティ>
2)启动
start-yarn.sh(这个只启动ノードマネージャ)
yarn-daemon.sh開始のResourceManager(在两台のResourceManager节点上都启动)
3)测试WORDCOUNTの
Hadoopのジャー./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar WORDCOUNT /user/jqbai/test.txt /ユーザ/ jqbai / WORDCOUNT
ウィンドウを構築するための10の開発環境
環境変数を追加します:
1)HADOOP_USER_NAMEルート=
2)HADOOP_HOME = D:\ソフトウェア\のHadoopの-2.6.5(Windows環境下で専用されています)