Hadoop-0.20.2のインストール構成

要約:この記事では、VirtualBoxに3 つのubuntu仮想マシンをインストールし、 Hadoop環境をセットアップする基本的な手順を紹介し、最後に、 Hadoopの例でwordcountルーチンを実行します。

1実験環境

VirtualBoxバージョン: 4.3.2 r90405

Ubuntu仮想マシンのバージョン: ubuntu11.04

Ubuntu仮想マシンのJDKバージョン: jdk-1.6.0_45

Ubuntu仮想マシンのHadoopバージョン: hadoop-0.20.2

2概要

Hadoopマルチノード分散コンピューティングを別のコンピューターに実装するには、仮想マシンを介して複数のホストを確立する必要があります。この記事では、 VirtualBox仮想マシンを使用してマルチノードプラットフォームを構築します。新しい仮想マシンを完成させ、sshをインストールし、パスワードなしのアクセスを実現するためのキーを構成し、jdkをインストールし、hadoopをインストールして構成し、Hadoopに付属のwordcountプログラムを実行して環境構成を確認します。

3 つの詳細な手順

3.1仮想マシンのインストール

システム負荷を考慮し、複数の仮想マシンを同時に実行する必要があるため、この実験ではUbuntu 10.04の初期バージョンを選択しました。システムイメージファイルをダウンロードした後、VirtualBox を開いて新しいOSを作成します。簡単な設定後、仮想マシンが作成されます。構築後、仮想マシンを起動し、イメージファイルディレクトリを選択し、システムオプションを実行した後、システムが構築されます。次に、同じ方法で別の仮想マシンを構築します。3 つの仮想マシンの名前はUB01 、UB02です。それぞれとUB03です。ユーザー名はすべてvboxに設定し、ログインパスワードもvboxです。構築後、ifconfigを使用して3 つの仮想マシンのIPアドレスを確認します。それらのIP は異なっており、それらの IP アドレスが異なることがわかります。以下の図に示すように、相互にpingを実行できます。ここに移動します。仮想マシンのインストールが完了しました。

ping が正常に実行できたら、IP を介して相互にアクセスする必要がないように 3 つのマシンのエイリアスを構成します。/etc/hosts を開いてコンテンツを追加します。

223.3.77.207 UB01

223.3.73.102 UB02

223.3.85.84 UB03

UB01 の場合は上記のように、UB02 の場合は次のように記述すると、UB03 を一緒に起動できます (ここでの各 IP アドレスは、ifconfig の後に表示されるものになります。マシンごとに異なります)。

エイリアスを設定した後、仮想マシンのエイリアスに ping を実行すると、結果は次のようになります。

3.2 SSH のインストールと構成

ping ができるだけでは十分ではなく、分散コンピューティングシステムを完成させるには、3 台のマシンがパスワードなしで相互にアクセスできる (またはマスターがパスワードなしでスレーブにアクセスできる) 必要があります。まず、3 つの仮想マシンに ssh-openserver をインストールします。

sudo apt-get インストール ssh rsync

完了したら、個人ディレクトリ /home/vbox/ に新しい .ssh フォルダーを作成し、.ssh で実行します。

ssh-keygen -t rsa

システムはいくつかの設定を要求します。これは最初の実験であるため、これらの内容は必要ありません。Enter をクリックして続行してください。完了すると、.ssh/ 配下に id_rsa と id_rsa.pub の 2 つのファイルが生成され、3 台のマシンが同様に処理されます。

秘密キーが生成された後、UB01 で実行するなど、3 つの仮想マシンのキーを相互に交換する必要があります。

scp ~/.ssh/id_rsa.pub UB02:/home/vbox/.ssh/id_rsa.pub.UB01

scp ~/.ssh/id_rsa.pub UB03:/home/vbox/.ssh/id_rsa.pub.UB01

上の 2 つの文の機能は、ローカルマシン上の id_rsa.pub ファイル (UB01 のキー) を UB02 と UB03 の同じ場所にコピーし、その名前を id_rsa.pub.UB01 に変更することです。

UB02 と UB03 についても同じことを行います。完了後、各マシンの /.ssh/ には 3 つのキーが存在するはずです。1 つは自分のもの、他の 2 つは他の人のものです。自分のキーと他の 2 人のキーを一緒に入れてください。追加認証キー（UB01の場合）へ

cat id_rsa.pub >> 認証されたキー;

cat id_rsa.pub.UB02 >> 認証されたキー;

cat id_rsa.pub.UB03 >> 認証されたキー;

上記の 3 つの文は、それぞれ 3 つのキーを同じauthorized_keysに追加します。

UB02とUB03についても同じことを行います。このようにして、3 台のマシンのそれぞれが他の 2 台のマシンへのアクセス権を持ちます。

次に、ssh 経由でパスワードなしのアクセスが可能かどうかを確認し、ターミナル (UB01 の場合) に次のように入力します。

SSH UB02;

アクセスに成功するとウェルカムメッセージが表示されます｡初回アクセス時は「はい」が必須です｡その後は直接アクセス可能です｡実験のスクリーンショットは以下の通りです｡

3.3 jdkのインストールと設定

JDK は 3 台の仮想マシンにインストールする必要があります。1 台のマシンに JDK をインストールして構成し、jdk フォルダを他の 2 台のマシンにコピーするだけで済みます。これらを個別にインストールする必要はありません。

選択した jdk ファイルは jdk-6u45-linux-i586.bin です。ダウンロードが完了したら、.bin パッケージを個人ディレクトリ /home/vbox/ に移動して実行します。

chmod u+x jdk-6u45-linux-i586.bin;

sudo -s ./jdk-6u45-linux-i586.bin;

インストールが完了するまで待ちます。現在のパスに jdk ディレクトリが生成されます。次に、環境変数を設定し、/etc/environment に JAVA_HOME、CLASSPATH、PATH の値を追加します。再起動後、java と入力します。ターミナルで -version を実行すると、バージョン情報が表示され、インストールが成功したことがわかります。インストール結果は次のようになります。

3.4 Hadoopのインストールと構成

3台のマシンでも同様の操作を行い、1台のマシンで操作し、他のマシンにコピーすることも可能です。

ダウンロードした hadoop-0.20.2.tar.gz を個人ディレクトリ /home/vbox/ に移動し、インストール操作を実行します。

tar -xzvf hadoop-0.20.2.tar.gz // ファイルを解凍します

Hadoop フォルダーが現在のパスに生成され、フォルダーの所有者が変更されます。

chown vbox:vbox hadoop-0.20.2

次に、hadoop 環境変数を /etc/environment ファイルに追加します。追加後のファイルは次のようになります。

次に、hadoop/conf/ ディレクトリ内の構成ファイルを変更する必要があります。変更する必要があるファイルは、マスター、スレーブ、core-site.xml、mapred-site.xml、hdfs-site.xml の 6 つです。および hadoop-env.sh. を以下のように変更します。