Hadoopの-2.8.1.tar.gzクラスタセットアップをインストールUbuntu16.04

環境の説明:

  マシン役割のマシン名のユーザー名のIPアドレス

  192.168.3.150のドニーのドニー・レノボ-B40-80マスター+サルヴェ

  192.168.3.167 CQB CQB-レノボのHi-B40-80

マスター機のメインコンフィギュレーション・名前ノードとJobTrackerの役割は、分散データと電源の実装を担当するタスクを打破する、分散ファイルシステム、およびタスクを実行する責任Salveのマシン構成データノードとTaskTrackerの役割は、;ここでマスターマシンがなければなりません(スタンバイ)は、マスターサーバーのダウンタイムを防止します。

注意:原因のHadoop Hadoopのには、同じ展開ディレクトリ構造の要件上のすべてのマシンは(起動時に同じディレクトリに、マスターノードによって他のタスクノードを開始するので)ことを必要とし、同じユーザーアカウント名を持っています。様々な参考文書パスワード認証なしで達成するために、このアカウントを使用して、すべてのマシン上でのHadoopユーザーを確立していると言うことです。便宜上、3台のすべてのマシンは、Hadoopの利用者を再確立することにあります。(強く、この実践を推奨、貧しいブロガーは学びません)

 

環境設定:

  ホスト名変更修正に成功テストでホスト名のvimの/ etc /ホスト名を変更します。

  添加ホストVIMの/ etc / 192.168.3.150ホストドニー-Lenovoは-B40-80 192.168.3.167 CQB-レノボ-B40-80

 

SSHの設定:

  SSH-keygenは-t rsaの

  SSH-コピー-ID -iの〜/ .ssh / id_rsa.pub CQB @ CQB-レノボ-B40-80

 

Hadoopの構成:

vimの/etc/hadoop/core-site.xml
<設定>
    <プロパティ>
        <名前> hadoop.tmp.dir </名前> 
        <値>のファイル:/データ/ Hadoopのを/ tmp </ value>は
        、他のための<説明> ABASE一時ディレクトリ</説明>。
    </ property>の
    <プロパティ>
        <名前> fs.default.name </名前>
        <値> HDFS://ドニー・レノボ-B40-80:9000 </ value>の
    </ property>の
    <プロパティ>
        <名前> io.file.buffer.size </名前>
        <値> 131072 </ value>の
    </ property>の
</ configuration>の
vimの/etc/hadoop/hdfs-site.xml
<設定>
    <プロパティ>
        <名前> dfs.replication </名前>
        <値> 1 </値>
    </ property>の
    <プロパティ>
        <名前> dfs.namenode.name.dir </名前>
        <値>のファイル:/データ/ Hadoopの/ DFS /名前</ value>の
    </ property>の
    <プロパティ>
        <名前> DFS。 datanode.data.dir </名前>
        <値>のファイル:/データ/ Hadoopの/ DFS /データ</ value>の
    </ property>の
    <プロパティ>
        <名前> dfs.webhdfs.enabled </名前>
        <値>真< /値>
    </ property>の
</構成>


VIM /etc/hadoop/mapred-site.xml
<構成>
    <プロパティ>
            <名前> mapreduce.framework.name </名前>
            <値>糸</値>
    </ property>の
      <プロパティ>
          <名前> mapreduce.jobhistory .address </名前>
          <値>ドニー-レノボ-B40-80:10020 </値>  
    </ property>の
    <プロパティ>
            <名前> mapreduce.jobhistory.webapp.address </名前>
            <値>ドニー-Lenovo- B40-80:19888 </ value>の
    </ property>の
</設定>


VIM /etc/hadoop/yarn-site.xml
<構成>
    <プロパティ>
        <名前> yarn.resourcemanager.hostname </名前>
        <値>ドニー-レノボ-B40-80 </値>
    </ property>の
    <プロパティ>
        <名前> yarn.nodemanager.aux-サービス</名前>
        <値> mapreduce_shuffle </ value>の
    </ property>の
</設定>

 

vimのは/ etc / Hadoopの/スレーブ

  ドニー・レノボ-B40-80
  CQB-レノボ-B40-80

 

名前ノードはデータノードを送りました

  SCP -rの/ etc / Hadoopの/ CQBする@ CQB-レノボ-B40-80:を/ tmp /

 

Hadoopのを起動します。

  行っnomenode

    最初のフォーマット hdfs namenode -format

    hadoop-daemon.sh開始名前ノード

    hadoop-daemon.shスタートデータノード(オプション)

    ノードマネージャを起動しyarn-daemon.sh

    このResourceManagerを開始yarn-daemon.sh

    historyserver開始mr-jobhistory-daemon.sh

  行ってデータノード

    hadoop-daemon.shスタートデータノード

    ノードマネージャを起動しyarn-daemon.sh

    hadoop-daemon.shスタートsecondarynamenode(オプション)

 

Hadoopのを確認します。

  クラスタHDFS DFS -ls確認/いずれかのマシンを実行することができます

  データノード堅牢なアクセスかどうかをチェックします192.168.3.150:50070

 

  公開タスクのHadoopジャー/opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.1.jar語数の/tmp/order.data /出力

  アクセス192.168.3.150:8088が解除されたタスクの結果を表示します

おすすめ

転載: www.cnblogs.com/zhu520/p/11703764.html