1.インストールパッケージをダウンロードします
インストールパッケージのHadoopをダウンロード
公式ウェブサイトのアドレス:https://hadoop.apache.org/releases.html
バージョン:Hadoopの-2.7.3.tar.gzを使用することをお勧めします
システム環境:CentOSの7
注:JDKのサポートを持っている必要があり、バージョン1.8以上
2.インストールパッケージを解凍します
- デフォルトのパスは/ usr /ソフト、そうするには、インストールパッケージに第1搬送路としてインストール
cd /usr/soft
tar -zxvf hadoop-2.7.3.tar.gz
3.環境変数の設定
vi /ect/profile
以下を追加し、ファイルの末尾を包みます
export HADOOP_HOME=/usr/soft/hadoop-2.7.3
export HADOOP_MAPRED_HOME=HADOOP_HOME
export HADOOP_COMMON_HOME=HADOOP_HOME
export HADOOP_HDFS_HOME=HADOOP_HOME
export YARN_HOME=HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=HADOOP_HOME/lib/native
export PATH=PATH:HADOOP_HOME/sbin:HADOOP_HOME/bin
export HADOOP_INSTALL=$HADOOP_HOME
設定を変更した後、ファイルを更新します
source /etc/profile
4.疑似分散構成
ファイルのディレクトリ:/usr/soft/hadoop-2.7.3/etc/hadoop/
コア-site.xmlに、HDFS-site.xmlの、mapred-site.xmlの、糸-site.xmlの:ファイルを変更する必要があります
A)コア - site.xmlの
名前のディレクトリTMPフォルダHadoopのファイルの最初のタッチ
cd /usr/soft/hadoop-2.7.3
mkdir tmp
コンフィギュレーションファイルに次のタグを追加します。
1)= fs.defaultFSのHDFS://192.168.0.103:9000デフォルトのファイルシステム(ローカルデフォルトのファイル:/位置)ポートは同じポートのHBaseに設定されています
2)hadoop.tmp.dir =は/ usr /ソフト/ Hadoopの-2.7.3 / TMP
B)hdfs.site.xml
dfs.replication = 1、ホストプロセスの間の関係(部数、分散少なくとも三つの擬似は、唯一の書き込み)
C)mapred-site.xmlに
ディレクトリ内ではなくフルネームmapred-site.xmlファイルが、それが命名しました:mapred-site.xml.template
-site.xmlのmapredファイル名の変更をコピーします。
cd /usr/soft/hadoop-2.7.3/etc/hadoop/
cp mapred-site.xml.template mapred-site.xml
設定ファイルを変更します。Mapreduce.framewok.name =糸、提供MapReducingモデルのフレームワーク糸
<property>
<name>mapreduce.framewok.name</name>
<value>yarn</value>
</property>
d)の糸-site.xmlに
Yarn.resourcemanager.localhost = localhostを//糸ドメイン名
Yarn.nodemanager.auxサービス= mapreduce_shuffle //セカンダリノード管理
E)hadoop-env.sh(オプション)
JDK構成絶対パスへの相対パスを変更するのが最善
ファイルが変更されます!
5.設定SSH(ソケット処理をセキュア)
目的は、シェルがリモートサービスを上陸させ使用する必要があり、リモートサーバーを起動するために開始するためにペースを使用することですが、それぞれの着陸は、あなたが疎の設定を構成するために必要なのは、あなたが秘密鍵に名前ノード、データノードに公開鍵を生成する必要があり、パスワードは非常に面倒である必要があり
A)の秘密鍵を生成します
ssh-keygen -t rsa
b)は、データベースをコピーするには、公開鍵、秘密鍵
疑似分散は、あなたにコピーする場合
cd cd ~/.ssh/
cat id_rsa.pub >> authorized_keys
完全に分散するとき、DataNodesをコピーする(他のコンピュータノード)
scp root@主机名:~/.ssh/id_rsa.pub ~/.ssh/id_rsa.pub
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
C)authorized_key権限が600に設定します
chmodの600の〜/ .ssh / authorized_keysに
注意:Hadoopのステップでホストにサイトを訪問したいです
仮想マシンの/ etc / hosts削除127.0.0.1のファイル情報を変更します
情報を追加します
本机IP master
本机IP slave
本机IP localhost
6.フォーマットの名前ノード
hdfs namenode -format
コマンドプロンプトが見つからなかった場合は、再検査する第3のステップは、環境変数を設定することです
7. [スタート] Hadoopの
コマンドを起動します(sbinにフォルダに保存されます)
cd /usr/soft/hadoop-2.7.3/sbin/
start-all.sh
或
start-dfs.sh
start-yarn.sh
8起動状態を確認します
ブラウザはアドレスにアクセスするには、ページが表示されますが、成功であります
本机地址:50070