レベル2：開発環境を構成する-Hadoopのインストールと疑似分散クラスターの構築

1ダウンロードhadoop

公式ウェブサイト：http：//hadoop.apache.org/

2Hadoopをインストールします

公式ドキュメント：http：
//hadoop.apache.org/docs/r3.1.0/hadoop-project-dist/hadoop-common/SingleCluster.htmlhadoopアーカイブを/appフォルダーに

cd /opt
tar -zxvf hadoop-3.1.0.tar.gz -C /app

appディレクトリに切り替えて、hadoopフォルダーの名前を変更してみましょう。（このステップは実行できるかどうかはわかりません）

mv hadoop-3.1.0 hadoop3.1

2.1Hadoop環境を構成する

次に、Hadoop開発環境の構成を開始します。
シングルノードクラスターを構築し、疑似分散を構成してみましょう。分散させてみませんか？
実際、分散構成は、分散マシンの数が増えることと他のマシンの数に違いがないことを除いて、疑似分散構成と似ています。したがって、Hadoop学習として疑似分散を構築する方が良いですが、構築します。後で実際の分散環境。

2.1.1SSHパスワードなしのログインを設定する

後でクラスターを操作するときは、ホストとスレーブに頻繁にログインする必要があるため、SSHパスワードなしのログインを設定する必要があります。
次のコードを入力します。

 ssh-keygen -t rsa -P ''

パスワードなしのキーペアを生成し、保存パスを要求し、Enterキーを直接入力して、デフォルトでディレクトリに保存されているキーペア：id_rsaおよびid_rsa.pub、を生成~/.sshします。
次へ：id_rsa.pub許可されたキーに追加します。

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

次に、権限を変更します。

chmod 600 ~/.ssh/authorized_keys

その後、あなたは、RSA認証を有効にする公開鍵、秘密鍵のペアリング認証方式を開始する必要があります。
vim /etc/ssh/sshd_configプロンプトが不足している場合は、コマンドの前にそれを追加sudo、
変更ssh設定を：

RSAAuthentication yes # 启用 RSA 认证
PubkeyAuthentication yes # 启用公钥私钥配对认证方式
AuthorizedKeysFile %h/.ssh/authorized_keys # 公钥文件路径

SSHを再起動します（ローカルで独自の仮想マシンで再起動できますが、プラットフォームで再起動することはできません。再起動する必要はありません。再起動後にコマンドラインに接続することはできません！）
service ssh restart

2.1.2Hadoopファイルの構成

合計6ファイル

hadoop-env.sh；
yarn-env.sh ；
core-site.xml；
hdfs-site.xml；
mapred-site.xml；
yarn-site.xml。

2.1.3hadoop-env.sh構成

2つのenv.shファイルは、主に構成のJDK場所です。

ヒント：JDKの場所を忘れた場合は、入力しecho $JAVA_HOMEてください。

まず、hadoopディレクトリに切り替えます

cd /app/hadoop3.1/etc/hadoop/

編集hadoop-env.sh次のコードをファイルに挿入します。

# The java implementation to use.  
#export JAVA_HOME=${JAVA_HOME}  
export JAVA_HOME=/app/jdk1.8.0_171

2.1.4yarn-env.sh構成

yarn-env.sh次のコードを編集して挿入します。

export JAVA_HOME=/app/jdk1.8.0_171

2.1.5 core-site.xml配置

これは、我々はファイルに追加する必要がコア・コンフィギュレーション・ファイルでHDFSされているURIとNameNode場所のフォルダ一時ファイル、この一時フォルダは以下に作成されます。
ファイルの最後configurationにあるタグに次のコードを追加します。

<configuration>  
 <property>  
    <name>fs.default.name</name>  
    <value>hdfs://localhost:9000</value>  
    <description>HDFS的URI，文件系统://namenode标识:端口号</description>  
</property>  
<property>  
    <name>hadoop.tmp.dir</name>  
    <value>/usr/hadoop/tmp</value>  
    <description>namenode上本地的hadoop临时文件夹</description>  
</property>  
</configuration>

2.1.6hdfs-site.xmlファイルの構成

replicationレプリカの数を参照します1。これで単一ノードになりました。はい。

<configuration>  
<property>  
    <name>dfs.name.dir</name>  
    <value>/usr/hadoop/hdfs/name</value>  
    <description>namenode上存储hdfs名字空间元数据 </description>   
</property>  
<property>  
    <name>dfs.data.dir</name>  
    <value>/usr/hadoop/hdfs/data</value>  
    <description>datanode上数据块的物理存储位置</description>  
</property>  
<property>  
    <name>dfs.replication</name>  
    <value>1</value>  
</property>  
</configuration>

2.1.7mapred-site.xmlファイルの構成

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

2.1.8 yarn-site.xml配置

<configuration>  
<property>  
        <name>yarn.nodemanager.aux-services</name>  
        <value>mapreduce_shuffle</value>  
</property>  
<property>  
        <name>yarn.resourcemanager.webapp.address</name>  
        <value>192.168.2.10:8099</value>  
        <description>这个地址是mr管理界面的</description>  
</property>  
</configuration>

2.1.9フォルダの作成

我々はいくつかのフォルダのパスに設定ファイルで構成され、今、私たちは、それらを作成する必要がある/usr/hadoop/ディレクトリの使用hadoopユーザ操作が、ビルドはtmp、hdfs/name、hdfs/dataディレクトリには、次のコマンドを実行します。

mkdir -p /usr/hadoop/tmp 
mkdir /usr/hadoop/hdfs 
mkdir /usr/hadoop/hdfs/data 
mkdir /usr/hadoop/hdfs/name

2.2環境変数にHadoopを追加する

vim /etc/profile

ファイルの最後に次のコードを挿入します。

export HADOOP_HOME=/app/hadoop3.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

最後に、変更を有効にします。source /etc/profile

2.3検証

構成作業が基本的に完了したので、次のステップは完了することです。

HDFSファイルをフォーマットし、
開始hadoop、
確認するだけHadoopです。

2.4フォーマット

を使用する前にHadoop、いくつかのhadoop基本情報をフォーマットする必要があります。
次のコマンドを使用します。

hadoop namenode -format

起動

次に、Hadoopを開始します。

start-dfs.sh

次の図に示すようにコマンドを入力すると、インターフェイスが表示されます。
ここに画像の説明を挿入
これは、rootユーザーがまだ起動できないため、起動に失敗したことを意味hadoopします。設定しましょう。

で/hadoop3.1/sbin次のcd /app/hadoop3.1/sbinパス：。
ウィルstart-dfs.sh、stop-dfs.shファイルの2人のトップは、次のパラメータを追加します

#!/usr/bin/env bash
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

また、start-yarn.sh 、stop-yarn.shトップにも次のように追加する必要があります。

#!/usr/bin/env bash
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

もう一度開始しstart-dfs.sh、最後jpsに確認するコマンドを入力すると、次のインターフェイスが正常に開始されたことを表し
ます。グラフィカルインターフェイスになった後、仮想マシンのグラフィカルインターフェイスでFirefoxブラウザ入力を開くことができます。http：// localhost：9870 /またはwindowsマシンにhttp：// virtual machine ip address：9870 /と入力して、hadoopの管理ページにアクセスします。