Hadoopのネイティブ構造

バージョン:(centos7.6)

プラットフォームを構築するために開始する前に、私はすでにプリインストールのMySQL

  PS:ユーザーおよび権限を作成するMySQLの:

図1は、 *上のすべての権限を付与します。*にルート @ localhostのによって識別される123456 グラントオプションで

 

まあ、それは言っても過言では、コンフィギュレーションを開始します。

  私は自分の使用してKVM仮想マシンのマスター、スレーブ1、スレーブ2の3つのノードを、使用していました。

対応するIPアドレス: 

    マスター:172.16.90.145

    スレーブ1:172.16.90.147

    スレーブ2:172.16.90.148

  1は、便宜上、設定した仮想マシン上で自分自身と相まって、SELinuxを閉じ、firewalld

  図2は、ホストを変更し、ホストマッピングの設定、すなわち、変更は完全なコピーであるSCP

 エコー ' 172.16.90.145マスター' >>の/ etc / ホストが 
  エコー ' 172.16.90.147スレーブ1 ' >>の/ etc / ホストが  
  エコー ' 172.16.90.148スレーブ2 ' >>の/ etc / ホストが

scpコマンドの/ etc / hostsスレーブ1:の/ etc / ホスト
 SCP / etc / hostsのスレーブ2:/ etc / hostsファイル

  3は、configure sshのフリー秘密:(ここで私は空白のパスワードを設定して行う三者無料の秘密の便宜のために)

SSH-keygenは

sshの -copy- IDのマスター
 のssh -copy- ID SLAVE1
 SSH -copy- のidスレーブ2

  4、(つまりJava)のJDKをインストール

    アンパックJDKインポートした後、ソフトリンクを作成し、環境変数、ソース環境変数ファイルを追加し、最終的にバージョン番号を参照してください

タール zxvf JDK-8u111-のlinux-x64の。タール.gzを
 

LN -sは/ usr / local / jdk1。8 .0_111は/ usr / local / javaの

エコー ' 輸出PATH = $ PATH:$ JAVA_HOME / binに' >>は/ etc / プロファイル
 エコー ' JAVA_HOME =は/ usr / local / jdk1.8.0_111 '   >>の/ etc / プロファイル

ソース /など/ プロファイル

のjava -version

 

  5、インストールのHadoop:

    減圧

タールは、 Hadoopのzxvf 2.90タール GZ

    ソフトリンクを作成します。

LN hadoop- / -sは/ usr / local 2.90 /は/ usr / local / Hadoopの

    環境変数と発効を追加します

エコー ' HADOOP_HOME =は/ usr / local / Hadoopの-2.9.0 / ' >>は/ etc / プロファイル
 エコー ' 輸出PATH = $ PATH:$ HADOOP_HOME / binに、sbinに' >>は/ etc / プロファイル
ソースは/ etc / profile

    設定ファイルを変更します。

      名前ノードマスターホスト上のローカルデータディレクトリを確立

ます。mkdir   -p /データ/ NN

      データノードは、ローカルデータディレクトリスレーブ1、スレーブ2内を設立します

ます。mkdir   -p /データ/ DN

      編集コアsite.xmlの、マスターの<構成>ノードに次のように追加

<プロパティ> 
        <名前> fs.default.name </名前> 
        <値> HDFS:// マスター:9000 </ value>の 
</ property>の
<プロパティ> 
        <名前> IO。ファイル .buffer.size </名前> 
        <値> 131702 </ value>の
</ property>の

      マスターの[編集] HDFS-site.xmlのは、<設定>ノードに以下を追加します

<プロパティ> 
        <名前> dfs.nameslave.name。DIR </名前> 
        <値> のファイル/// データ/ NN </ value>の 
    </ property>の
    <プロパティ> 
        <名前> dfs.dataslave.data。DIR </名前> 
        <値> のファイル/// データ/ DN </ value>の 
    </ property>の
    <プロパティ> 
        <名前> dfs.replication </名前> 
        <値> 1 </ value>の
    </ property>の
    <プロパティ> 
        <名前> dfs.nameslave.secondary.httpアドレス<
    </ property>の
    <プロパティ> 
    <名前> dfs.webhdfs.enabled </名前> 
    <値>  </ value>の
    </適切な

      mapred-site.xmlのにマスター、mapred-site.xml.templateコピーで、編集mapred-site.xmlに

CP mapred-site.xml.template mapred-site.xmlに
<プロパティ> 
        <名前> mapreduce.framework.name </名前> 
        <値>糸</ value>の
          <最終>  </最終> 
    </ property>の
  <プロパティ> 
     <名前> mapreduce.jobtracker.http.address </名前> 
     <値>マスター:50030 </ value>の
  </ property>の
    <プロパティ> 
        <名前> mapreduce.jobhistory.address </名前> 
        <値>マスター:10020 </ value>の
    </ property>の
    <プロパティ> 
        <名前> mapreduce.jobhistory.webapp.address </名前> 
        <値>マスター:19888 </ value>の
    </ property>の
    <プロパティ>
        <名前> mapred.job.tracker </名前> 
        <値>のhttp:// マスター:9001 </ value>の 
    </ property>の

      マスター、編集糸-site.xml内、

<プロパティ> 
    <名前> yarn.slavemanager.aux-サービス</名前> 
    <値> mapreduce_shuffle </ value>の
  </ property>の
  <プロパティ>       
    <名前> yarn.slavemanager.auxservices.mapreduce.shuffle.class </名前> 
    <値> org.apache.hadoop.mapred.ShuffleHandler </値> 
  </ property>の
  <プロパティ> 
    <名前> yarn.resourcemanager.address </名前> 
    <値>マスタ:8032 </値> 
  </ property>の
  <プロパティ> 
    <名前> yarn.resourcemanager.scheduler.address </名前> 
    <値>マスター:8030 </ value>の
  </ property>の
  <プロパティ> 
    <名前> yarn.resourcemanager.resource-tracker.address </名前>
    <値>マスター: 8031 </ value>の
  </ property>の
  <プロパティ> 
    <名前> yarn.resourcemanager.admin.address </名前> 
    <値>マスター:8033 </ value>の
  </ property>の
  <プロパティ> 
    <名前> yarn.resourcemanager。 webapp.address </名前> 
    <値>マスター:8088 </ value>の
  </ property>の
  <プロパティ> 
    <名前> yarn.resourcemanager。ホスト名 </名前> 
    <値>マスター</ value>の
  </ property>の
  <プロパティ> 
    <名前> yarn.slavemanager.resource.memory-MB </名前> 
    <値>

     サーバーの構成上のマスタコピーは、コマンド転送SCPに入る、各ノード上の対応する位置にHadoopを完了しました。

SCP -rは/ usr / local / Hadoopの/ *   スレーブ1:は/ usr / local / Hadoopの/ 
SCP -rは/ usr / local / Hadoopの/ *スレーブ2:は/ usr / local / Hadoopの/

     Hadoopの名前ノードのマスタに、初期化

     スタートのHadoop

hadoop-daemon.sh名前ノード-format
./start-all。SH

    最後に、JPSは、サービスノードの開始を表示するコマンドを使用することは正しいです

    

    あなたは、Webインターフェイスの打ち上げ成功を見ることができます

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

おすすめ

転載: www.cnblogs.com/zxd-8520/p/12004665.html