CentOS7に疑似分散型のHadoop環境を構築します

1.インストールパッケージをダウンロードします

インストールパッケージのHadoopをダウンロード

公式ウェブサイトのアドレス:https://hadoop.apache.org/releases.html

バージョン:Hadoopの-2.7.3.tar.gzを使用することをお勧めします

システム環境:CentOSの7

注:JDKのサポートを持っている必要があり、バージョン1.8以上

2.インストールパッケージを解凍します

  • デフォルトのパスは/ usr /ソフト、そうするには、インストールパッケージに第1搬送路としてインストール
cd /usr/soft
tar -zxvf hadoop-2.7.3.tar.gz

3.環境変数の設定

vi /ect/profile

以下を追加し、ファイルの末尾を包みます

export HADOOP_HOME=/usr/soft/hadoop-2.7.3
export HADOOP_MAPRED_HOME=HADOOP_HOME
export HADOOP_COMMON_HOME=HADOOP_HOME
export HADOOP_HDFS_HOME=HADOOP_HOME
export YARN_HOME=HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=HADOOP_HOME/lib/native
export PATH=PATH:HADOOP_HOME/sbin:HADOOP_HOME/bin
export HADOOP_INSTALL=$HADOOP_HOME

設定を変更した後、ファイルを更新します

source /etc/profile

4.疑似分散構成

ファイルのディレクトリ:/usr/soft/hadoop-2.7.3/etc/hadoop/

コア-site.xmlに、HDFS-site.xmlの、mapred-site.xmlの、糸-site.xmlの:ファイルを変更する必要があります

 

A)コア - site.xmlの

名前のディレクトリTMPフォルダHadoopのファイルの最初のタッチ

cd /usr/soft/hadoop-2.7.3
mkdir tmp

コンフィギュレーションファイルに次のタグを追加します。

1)= fs.defaultFSのHDFS://192.168.0.103:9000デフォルトのファイルシステム(ローカルデフォルトのファイル:/位置)ポートは同じポートのHBaseに設定されています

2)hadoop.tmp.dir =は/ usr /ソフト/ Hadoopの-2.7.3 / TMP

 

 

B)hdfs.site.xml

dfs.replication = 1、ホストプロセスの間の関係(部数、分散少なくとも三つの擬似は、唯一の書き込み)

 

 

C)mapred-site.xmlに

ディレクトリ内ではなくフルネームmapred-site.xmlファイルが、それが命名しました:mapred-site.xml.template

-site.xmlのmapredファイル名の変更をコピーします。

cd /usr/soft/hadoop-2.7.3/etc/hadoop/
cp mapred-site.xml.template mapred-site.xml

設定ファイルを変更します。Mapreduce.framewok.name =糸、提供MapReducingモデルのフレームワーク糸

<property>
<name>mapreduce.framewok.name</name>
<value>yarn</value>
</property>

 

 

 

d)の糸-site.xmlに

Yarn.resourcemanager.localhost = localhostを//糸ドメイン名

Yarn.nodemanager.auxサービス= mapreduce_shuffle //セカンダリノード管理

 

 

E)hadoop-env.sh(オプション)

JDK構成絶対パスへの相対パスを変更するのが最善

 

ファイルが変更されます!

 

5.設定SSH(ソケット処理をセキュア)

目的は、シェルがリモートサービスを上陸させ使用する必要があり、リモートサーバーを起動するために開始するためにペースを使用することですが、それぞれの着陸は、あなたが疎の設定を構成するために必要なのは、あなたが秘密鍵に名前ノード、データノードに公開鍵を生成する必要があり、パスワードは非常に面倒である必要があり

A)の秘密鍵を生成します

ssh-keygen -t rsa

 

b)は、データベースをコピーするには、公開鍵、秘密鍵

疑似分散は、あなたにコピーする場合

cd cd ~/.ssh/
cat id_rsa.pub >> authorized_keys

完全に分散するとき、DataNodesをコピーする(他のコンピュータノード)

scp  root@主机名:~/.ssh/id_rsa.pub  ~/.ssh/id_rsa.pub
cat  ~/.ssh/id_rsa.pub  >> ~/.ssh/authorized_keys

 

C)authorized_key権限が600に設定します

chmodの600の〜/ .ssh / authorized_keysに

 

注意:Hadoopのステップでホストにサイトを訪問したいです

仮想マシンの/ etc / hosts削除127.0.0.1のファイル情報を変更します

情報を追加します

本机IP master
本机IP slave
本机IP localhost

 

6.フォーマットの名前ノード

hdfs namenode -format

コマンドプロンプトが見つからなかった場合は、再検査する第3のステップは、環境変数を設定することです

 

7. [スタート] Hadoopの

コマンドを起動します(sbinにフォルダに保存されます)

cd /usr/soft/hadoop-2.7.3/sbin/

start-all.sh
或
start-dfs.sh 
start-yarn.sh

 

8起動状態を確認します

ブラウザはアドレスにアクセスするには、ページが表示されますが、成功であります

本机地址:50070

おすすめ

転載: www.cnblogs.com/whoyoung/p/10988546.html