HadoopのHDFSの設定

ネットワーク:ネットワークがある:192.168.80.0、ゲートウェイ192.168.80.2、255.255.255.0をマスク、およびドメイン名202.196.32.1。

H adoopプラットフォーム計画:インストールの最小と3の64ビットCentOS7 Linuxホスト・システム、。ユーザーはマスターが、slaver1が192.168.80.6で、192.168.80.7などslaver2 192.168.80.5で、Hadoopのです。

まず、ホストマスターの設定

1。インストールを最小限に抑えるために選択したインストールCentOSの7は、他にはデフォルトで使用することができます。

2。VI / etc / sysconfig / network-scriptsに/のifcfg-ens33:(ルート)は、静的IP(... * * * 5)アドレスを提供しています

オープニングネットワーク:ifupをens33

3.パテは、ホストに接続されています。

(ルート)アカウントの追加アカウントのHadoop:useraddのHadoopの、passwdのHadoopの

(ルート) hostnamectl SET-ホスト名のマスターは//ホスト名のマスターを変更します。

幹部のbash //メイク変更はすぐにホスト名を反映します

VIの/ etc / hosts //は3と3つのIPホスト名との対応を追加します。ここではすべて一緒に、他の二つのマシンをコピーした後まで追加する必要はありません。

4。(ルート)閉じSELinuxのとfirewalld:

SELinuxを実行しているダウンsetenforce 0 //シャット

V I  の/ etc /のsysconfig / selinuxを  //再起動selinuxを再び実行されません

STOP firewalld systemctl   //ストップファイアウォール

無効firewalldのsystemctl  //が自動的に起動起動しないファイアウォールを設定します

5。(ルート)YUM修飾ソースUSTC源。

/etc/yum.repos.d CDは   作業ディレクトリを切り替える//

MV CentOSのCentOSのBase.repo Base.repo.bak

CentOSの-Base.repo VI   //参照の内容を追加し、新しいファイルを作成します。https://lug.ustc.edu.cn/wiki/mirrors/help/centos

yum makecache  //更新yum

yumをrsyncのインストール

yumをvimのインストール

yumをwgetのインストール

6.(ルート)は、Javaランタイム環境をインストールします。

1)JDKをダウンロードし、アカウントを登録するには、公式のネットワークの必要性、ダウンロードダウンロードした後に取得:wgetのhttps://download.oracle.com/otn/java/jdk/8u211-b12/478a62b7d4e34b78b671c754eaaf38ab/jdk-8u211-linux-x64を。 tar.gz形式?AuthParam = 1559117532_f52bb505fc34d78fff04ffb70d990331

2)タール- あるxv jdk.tar.gz

3)のvim / etc / profileを、3行を追加します

輸出JAVA_HOME =は/ opt / jdk1.8.0_211

輸出CLASSPATH =。$ JAVA_HOME / libに

エクスポートパスは$ PATHを=:$ JAVA_HOME / binに

元の/ etc / P R&LT OFILE、入力のJava -version、試験。

7。他の二つのシステム、(ルート)をコピー(*。*。*。7)はそれぞれ、ホスト名とslaver2を変更し、IPアドレスを設定する(*。*。*。6)とslaver1されています。

手順2と3を参照してください。設定後は、ネットワークの再起動:ifdownをens33を、ifupをens33

ピング・マスタを使用して、3つのホスト間8.テストTonglian接続;ピングslaver1;ピングslaver2

第二に、コンフィギュレーション・フリー密集ログイン

1.実行のssh-keygenのそれぞれは、3つのホスト上でHadoopのアカウントを使用しました。

2. slaver1は、マスタにアップロードされた公開鍵を生成しました。

SCP id_rsa.pubのHadoop @マスター:/home/hadoop/.ssh/slaver1.pub

3. slaver2は、マスタにアップロードする公開鍵を生成しました。

SCP id_rsa.pub のHadoop @マスター:/home/hadoop/.ssh/slaver 2 .PUB

一緒にマスター、slaver1、slaver2公開鍵をマスター4.:

猫id_rsa.pubよだれ1 .PUB slaver2.pub> authorized_keysに

5. chmodの600件のauthorized_keys   // 600へのファイルのパーミッションを変更

6.それぞれの位置とslaver2 slaver1ホストへのファイルアップロード。

SCPのauthorized_keys のHadoop @よだれ1 :/home/hadoop/.ssh/のauthorized_keys

SCPのauthorized_keys のHadoop @ slaver2 :/home/hadoop/.ssh/のauthorized_keys

7.(ルート)VIMの/ etc / SSH / sshd_configの

PubkeyAuthentication yesは  フロント#から削除します

適切な位置とslaver2 slaver1ホストにコンフィギュレーションファイルをアップロードする8(ルート)。

scpコマンドは、/ etc / ssh / sshd_config  ルート@ slaver1 :/ など/ SSH / sshd_configに

scpコマンドは、/ etc / ssh / sshd_config  ルート@ slaver2 :/ など/ SSH / sshd_configに

9。3再起動sshdサービスホスト

systemctl再起動SSHD

10. Hadoopのアカウントのテスト3つのホスト、任意の二つの密フリーログインが(私を含め)が正常です。

sshのマスター;のssh slaver1、SSH slaver2

 

 

 

第三には、configureのHadoopプラットフォームは、マスターホスト上でのHadoopユーザーの設定を使用して、後から設定されている他の二つのホストに広がりました。

1. [/ホーム/ Hadoopの:wgetの   http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz   // Hadoopのソフトウェアダウンロードパッケージ

2.  タール-xvf Hadoopの-2.9.2.tar.gz

3.(ルート)の設定環境変数:VIMは/ etc / profile

輸出HADOOP_HOME = /ホーム/ Hadoopの/ Hadoopの-2.9.2

エクスポートパスは$ PATHを=:$ HADOOP_HOME / sbinに:$ HADOOP_HOME / binに

以下の操作は、Hadoopのアカウントです。

4.(Hadoopの)CDのHadoop-2.9.2;  ます。mkdir hdptmp //のHadoop-2.9.2 hdptmpにディレクトリを作成します

MKDIR - P DFS /名;ます。mkdir - p個のDFS /データ

5.  設定hadoop-env.sh。

CDの Hadoopの-2.9.2の/ etc / Hadoopの、vimのhadoop-env.sh。

輸出JAVA_HOME =は/ opt / jdk1.8.0_211

輸出HADOOP_CONF_DIR = /ホーム/ Hadoopの/ Hadoopの-2.9.2の/ etc / Hadoopの

ソースhadoop-env.sh

6. 配置core-site.xml

CDの Hadoopの-2.9.2の/ etc / Hadoopの、vimのコア-site.xmlに

<構成> < / 構成>は、中間ノードを添加しました。

    <プロパティ>

        <名前> hadoop.tmp.dir </名前>

        <値> /home/hadoop/hadoop-2.9.2/hdptmp </ value>の

    </プロパティ>

    <プロパティ>

        <名前> fs.defaultFS </名前>

        <値> HDFS://マスター:9000 </ value>の

    </プロパティ>

7.設定のHDFS-site.xmlの

CDの Hadoopの-2.9.2の/ etc / Hadoopの、vimのHDFS-site.xmlの

<構成> < / 構成>は、中間ノードを添加しました。

<プロパティ>

   <名前> dfs.namenode.name.dir </名前>

   <値> /home/hadoop/hadoop-2.9.2/dfs/name </ value>の

</プロパティ>

<プロパティ>

   <名前> dfs.datanode.data.dir </名前>

   <値> /home/hadoop/hadoop-2.9.2/dfs/data </ value>の

</プロパティ>

<プロパティ>

   <名前> dfs.replication </名前>

   <値> 2 </値>

</プロパティ>

8.配置mapred-site.xml.

CDの Hadoopの-2.9.2の/ etc / Hadoopの CP mapred-site.xml.template mapred-site.xmlに、VIM mapred-site.xmlに

<構成> < / 構成>は、中間ノードを添加しました。

<プロパティ>

        <名前> mapreduce.framework.name </名前>

        <値>糸</値>

    </プロパティ>

9.配置yarn-site.xml

CDの Hadoopの-2.9.2の/ etc / Hadoopの、vimの糸-site.xml

<構成> < / 構成>は、中間ノードを添加しました。

   <プロパティ>

        <名前> yarn.resouremanager.hostname </名前>

        <値>マスター</ value>の

   </プロパティ>

   <プロパティ>

        <名前> yarn.nodemanager.aux-サービス</名前>

        <値> mapreduce_shuffle </ value>の

   </プロパティ>

<プロパティ>

    <名前> yarn.resourcemanager.address </名前>

    <値>マスター:8032 </ value>の

  </プロパティ>

  <プロパティ>

    <名前> yarn.resourcemanager.scheduler.address </名前>

    <値>マスター:8030 </ value>の

  </プロパティ>

  <プロパティ>

    <名前> yarn.resourcemanager.resource-tracker.address </名前>

    <値>マスター:8031 </ value>の

  </プロパティ>

10.コンフィギュレーションよだれ、CD  のHadoop-2.9.2の/ etc / Hadoopの、Vimの奴隷商人、ホスト名を追加します。

slaver1

slaver2

11.他の二つのマシンへのマスターのHadoop関連ファイルの設定。

SCP -rのHadoop-2.9.2のHadoop @ slaver1:/ホーム/ Hadoopの/

SCP -rのHadoop-2.9.2のHadoop @ slaver2:/ホーム/ Hadoopの/

12. [スタート]

では、M /ホーム/ Hadoopの/ Hadoopの-2。入力から自動的に起動しますアスター・サーバ・ノードをHadoopを開始。9 2 目次

(1)初期化コマンド入力、ビン/ HDFS名前ノード -format

(2)すべての開始sbinに/ start-all.sh

(3)は、入力されたコマンドを停止し、sbinに/ stop-all.sh

(4)JPS入力コマンドそれが成功した場合、:マスターマシンは4つのプロセスである必要があり、マシンはslaver1とslaver2三つのプロセスでなければなりません。

13、Webアクセス

1 オープンに)ブラウザHTTP://192.168。8 0。5 :8088 /   Hadoopの管理

2 )ブラウザが開きますHTTP://192.168。8 0 5 :50070 /  HDF Sのファイルシステム管理

第四に、テストプログラム

1.  HDFSは、DFS /テストを-mkdir  HDFSは、DFSを-ls /   分散ファイルシステム内のディレクトリのテストを作成します

2.touch言葉は、ローカルファイルを作成するだけでいくつかの単語をスペースで区切って入力します。

3.  DFS -put HDFSの言葉は/テストは   単語の分散ファイルシステムにファイルをアップロード

4. /home/hadoop/hadoop-2.9.2/ ビン/ Hadoopのジャー/home/hadoop/hadoop-2.9.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.2.jar WORDCOUNT /テスト/言葉/テスト/出力

それとも私の位置または任意の位置あなたのHadoop

/usr/local/hadoop-2.8.2/bin/hadoop瓶/usr/local/hadoop-2.8.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.2.jar WORDCOUNT /テスト/言葉/テスト/出力

 

5.レビュー結果:

ビン/ HDFS DFS -cat /試験/出力/部分-R-00000

公開された755元の記事 ウォンの賞賛652 ビュー129万+

おすすめ

転載: blog.csdn.net/zhangchen124/article/details/104686152