Hadoopの-2.6.5クラスタのセットアップ

viのは/ etc / sysconfig / networkファイル:1.ホスト名を変更します。

NETWORKING = yesの
HOSTNAME =ノード1

2.ドメイン名のマッピングを変更します。vi / etc / hostsファイル

127.0.0.1はlocalhost localhost.localdomainをlocalhost4 localhost4.localdomain4 //がある
:: 1 localhostのlocalhost.localdomainをlocalhost6 localhost6.localdomain6 //がある
192.168.10.11ノード1
192.168.10.12ノード2
192.168.10.13ノード3
192.168.10.14ノード4

3.日付の同期を設定します。

1)yumをインストールし、NTP //サーバがインストールされない場合は
  カイからのブート設定//上のntpdのchkconfig)1.1を
2)のntpdate ntp.api.bz //タイムサーバー
。3)にntpdが起動し、サービス/ STOP /再起動/リロード
。4)を提供しますタイミング同期:crontabの-e
  * / 10 * * * * ntpdateをtime.nist.gov //同期10分ごとに1回
  、我々は)4.1 --listをchkconfigをすることができます|グレップのcronコマンドcronサービスの状況を確認するために開始
    0をcrond: 1オフ:2オフ:3を有効4:有効:5を使用可能:6を有効:オフ
    が1-4である場合は、システム開始レベルを、cronサービスが自動的に起動起動する
  4.2)を開始してからcrondブートを設定:chkconfigをON crond
  4.3)のcrontabを使用してパラメータ
    -e [ユーザー名]:タイムテーブルを設定するために、テキストエディタの実装、デフォルトのテキストエディタはviのある
    現在の時刻表を削除します。-r [ユーザー名]
    -l [ユーザー名]:現在のタイムテーブルを一覧表示します
    -v [ユーザー名]:ユーザーのcronジョブの状態を一覧表示します

4.ファイアウォールを閉じます:iptablesのオフのchkconfig

5.安全機構を閉じます。viの/ etc / selinuxを/ configに

SELinuxは無効=
SELINUXTYPE =目標

6.ssh密なログインを避けます

。1)yumのリスト|グレップのSSH
2)yumを-YのOpenSSH OpenSSHの-サーバー・クライアントをインストールします
。3)sshdが起動し、サービスを
4)sshdのONをchkconfigの。
5)// SSH-keygenは秘密鍵生成。
6)にssh-コピー-IDのノード1 // 無料電流密度のログイン・サーバは、緻密避けるnode1でログインすることができ
、すべて無料シークレットサーバー(名前ノード+データノード)をログに記録するセットの名前ノードとのResourceManagerサーバーを

完全分散型クラスタ構造を7.Hadoop:

1)配置文件
  1.1 VI +は/ etc / profileの
    #JAVA_HOME
    輸出JAVA_HOME =は/ opt /モジュール/ jdk1.8.0_171
    #HADOOP_HOMEの
    輸出HADOOP_HOME =は/ opt /モジュール/ Hadoopの-2.6.5
    輸出のPATH = $ PATHに:$ JAVA_HOME / binに:$ HADOOP_HOME / binに:$ HADOOP_HOME / sbinに
  1.2 hadoop-env.sh mapred-env.sh yarn-env.sh
    輸出JAVA_HOME =は/ opt /モジュール/ jdk1.8.0_171
  1.3 HDFS-core.xml
    <プロパティ>
      <名前> fs.defaultFS </名前>
      <値> HDFS://ノード1:8020 </ value>の
    </ property>の
    <プロパティ>
      <名前> hadoop.tmp.dir </名前>
      <値>は/ opt /データ/ Hadoopの< />値
    </ property>の
  1.4 HDFSサイト。XMLの
    <プロパティ>
      <名前> dfs.replication </名前>
      <値> 2 </ value>の
    </プロパティ>
    <プロパティ>
      <名前> dfs.namenode.secondary.httpアドレス</名前>
      <値>ノード2:50090 </値>
    </プロパティ>
  1.5スレーブ
    ノード2
    ノード3
    ノード4
  1.6形式のファイルシステム:./ binに/ HDFS名前ノード-format
    ビューのヘルプ:./ binに/名前ノード-h HDFS
  1.7は、クラスタを起動します./ sbinに/ start-dfs.sh
  1.8見ますUIのWeb:IP:50070:
    ノード1:50070
  1.9ヘルプ:
    HDFSは
    DFSをHDFS

    ディレクトリを作成します。HDFS DFS -mkdir -p /ユーザー/ルート
    ビューのディレクトリを:HDFS DFS -ls /
    ファイルをアップロード:DFS HDFS -putのHadoop-2.6.5.tar.gz /ユーザー/ルート
  1.10停止クラスタを:./ sbinに/停止-dfs.sh

8.Hadoop-HAビル

  1)配置文件
    1.1 VI + / etc / profileを
      #JAVA_HOMEの
      輸出JAVA_HOME = / OPT /モジュール/ jdk1.8.0_171
      #HADOOP_HOME
      エクスポートHADOOP_HOME = / OPT /モジュール/ Hadoopの-2.6.5
      #ZOOKEEPER_HOMEの
      輸出ZOOKEEPER_HOME = / OPT /モジュール/飼育係-3.4.6
      輸出のPATH = $ PATHに:$ JAVA_HOME / binに:$ HADOOP_HOME / binに:$ HADOOP_HOME / sbinに:$ ZOOKEEPER_HOME / binに
    1.2 hadoop-env.sh mapred-env.sh yarn-env.sh
      輸出JAVA_HOME = / OPT /モジュール/ jdk1.8.0_171
    1.3 HDFS-core.xml
      <プロパティ>
        <名前> fs.defaultFS </名前>
        <値> HDFS:// MYCLUSTER </ value>の
      </ property>の
      <プロパティ>
        <名前>のHadoop 。tmp.dir </名前>
      <値>は/ opt /データ/ Hadoopの</ value>の
      </ property>の
      <プロパティ>
        <名前> ha.zookeeper.quorum </名前>
        <値>ノード2:2181、ノード3:2181、ノード4:2181 </ value>の
      </プロパティ>
    1.4 HDFS-site.xmlの
      <プロパティ>
        <名前> dfs.replication </名前>
        <値> 2 </値>
      </ property>の
      <プロパティ>
        <名前> dfs.nameservices </名前>
        <値> MYCLUSTER </ value>の
      </ property>の
      <プロパティ>
        <名前> dfs.ha.namenodes.mycluster </名前>
        <値> NN1、NN2 </値>
      </ property>の
      <プロパティ>
        <名前> dfs.namenode.rpc-address.mycluster.nn1 </名前>
        <値>ノード1:8020 </値>
      </ property>の
      <プロパティ>
        <名前> dfs.namenode.rpc-address.mycluster.nn2 < /名前>
        <値> NODE2:8020 </値>
      </ property>の
      <プロパティ>
        <名前> dfs.namenode.http-address.mycluster.nn1 </名前>
        <値>ノード1:50070 </ value>の
      </プロパティ>
      <プロパティ>
        <名前> dfs.namenode.http-address.mycluster.nn2 </名前>
        <値>ノード2:50070 </ value>の
      </ property>の
      <プロパティ>
        <名前> dfs.namenode.shared.edits.dir </名前>
        <値> qjournal://ノード1:8485;ノード2:8485;ノード3:8485 / MYCLUSTER </ value>の
      </ property>の
      <プロパティ>
        <名前> dfs.client.failover.proxy.provider.mycluster </名前>
        <値> org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider </ value>の
      </ property>の
      <プロパティ>
        <名前> dfs.ha.fencing.methods </名前>
        <値> sshfence </ value>の
      </ property>の
      <プロパティ>
        <名前> dfs.ha.fencing.ssh.private・キー・ファイル</名前>
        <! -如果文件是id_dsaに这后边需要改成id_dsaに- >
        <値> /ルート/ .ssh / id_rsaと</ value>の
      </ property>の
      <プロパティ>
        <名前> dfs.journalnode.edits.dir </名前>
        <値>は/ opt /データ/ Hadoopの/ジャーナル</ value>の
      </ property>の
      <プロパティ>
        <名前> dfs.ha.automatic-failover.enabled </ >名前
        <値>真</ value>の
      </ property>の
    1.5スレーブ
      ノード2
      ノード3
      ノード4
    1.6飼育係集群搭建
      zoo.cfg
      tickTime = 2000
      DATADIR =は/ opt /データ/飼育係
      CLIENTPORT = 2181
      initLimit = 5
      syncLimit = 2
      server.1 =をノード2:2888:3888
      server.2 =ノード3:2888:3888
      server.3 =ノード4:2888:3888
      / OPT /データ/ ZooKeeperの/のMyID含量は[1,2,3]であります
    実行する各ノードで1.7 ZK:開始zkServer.sh
      正常に起動するかどうかを確認するために:zkServer.shステータス
    journalnodeノードあたり1.8は、実行:あなたはHadoopクラスタを起動する前に//が開始されなければならないhadoop-daemon.shスタートjournalnodeはjournalnode
    1.9同期をログイン編集
      単一のクラスタと名前ノードがある場合
        (フォーマットすでに名前ノード上で実行される)HDFSの名前ノードの-initializeSharedEdits
        名前ノードを起動しhadoop-daemon.sh
        HDFS名前ノード-bootstrapStandby(名前ノード形式で実行されていない)
      場合は、新しいクラスタ
        HDFS名前ノード-format
        名前ノードhadoop-daemon.sh開始
        HDFS名前ノード-bootstrapStandby(フォーマット名前ノード上で実行されていない)
    1.10飼育係形式と開始
      HDFS zkfc -formatZK(ノードをフォーマットすることができる名前ノード)
      hadoop-daemon.shスタートzkfc(2 zkfc(すなわち名前ノード)ノードの開始)、または直接、すべてがstart-dfs.sh開始しました

9.yarnビルド

1)配置文件
  mapred-site.xmlの
    <プロパティ>
      <名前> mapreduce.framework.name </名前>
      <値>糸</値>
    </ property>の
  糸site.xmlの
    <プロパティ>
      <名前> yarn.nodemanager .aux-サービス</名前>
      <値> mapreduce_shuffle </ value>の
    </ property>の
    <プロパティ>
      <名前> yarn.resourcemanager.ha.enabled </名前>
      <値>真</ value>の
    </ property>の
    <プロパティ>
      <名前> yarn.resourcemanager.cluster-ID </名前>
      <値>クラスタ1 </値>
    </ property>の
    <プロパティ>
      <名前> yarn.resourcemanager.ha.rm-IDS </名前>
      <値> RM1、RM2 </値>
    </ property>の
    <プロパティ>
      <名前> yarn.resourcemanager.hostname.rm1 </名前>
      <値>ノード3 </値>
    </ property>の
    <プロパティ>
      <名前>糸.resourcemanager.hostname.rm2 </名前>
      <値>ノード4 </ value>の
    </ property>の
    <プロパティ>
      <名前> yarn.resourcemanager.zkアドレス</名前>
      <値>ノード2:2181、ノード3:2181、ノード4:2181 </ value>の
    </プロパティ>
2)启动
  start-yarn.sh(这个只启动ノードマネージャ)
  yarn-daemon.sh開始のResourceManager(在两台のResourceManager节点上都启动)

3)测试WORDCOUNTの
  Hadoopのジャー./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar WORDCOUNT /user/jqbai/test.txt /ユーザ/ jqbai / WORDCOUNT

ウィンドウを構築するための10の開発環境

環境変数を追加します:
  1)HADOOP_USER_NAMEルート=
  2)HADOOP_HOME = D:\ソフトウェア\のHadoopの-2.6.5(Windows環境下で専用されています)

おすすめ

転載: www.cnblogs.com/jqbai/p/10989925.html