クラスタを構築するためのVMベースのHadoopビッグデータプラットフォーム

現在のビッグデータの開発より速く、より速く、より高く、高い技術要件、ジョブ需要も実務者が基本的な能力になるために、以下のことをHadoopのビッグデータプラットフォームを構築し、Hadoopのビッグデータ技術の基礎として、増加しています紹介のHadoopクラスタを構築するには、2台の仮想マシンが。

Centos7が大きなデータクラスタマスタノードとして、仮想マシンを作成し、オペレーティングシステムをインストールwmwareに基づく(A)。

(1)ネットワークカードの設定ファイル、実際の状況の変化に基づいてファイルを見つけることがカードから別のファイル名のLinuxのネットワークカード(のifcfg-ens33)の異なるバージョンを変更します。

#vi / etc / sysconfig / network-scriptsに/のifcfg-ens33

BOOTPROTO =静的#修飾

ONBOOT = yesの#修正

IPADDR = 192.168.126.128

NETMASK = 255.255.255.0

GATEWAY = 192.168.126.2

DNS1 = 114.114.114.114

DNS2 = 8.8.8.8

(2)再起動ネットワーク

#systemctl再起動ネットワーク

(3)閲覧IPアドレス

#ipのAの

端子接続ツールをCRT。

(4)インストールと設定JDK

 

4.1を開き、ファイル転送ツールsecureFX、JDKは-8u231-linuxの-x64.tar.gzのアップロードには/ opt /下げるJDK圧縮パッケージ。

4.2作成ディレクトリは/ usr / jdk64

#mkdirは/ usr / jdk64

JDK 4.3の/ usr / jdk64に圧縮JDK-8u231-linuxの-x64.tar.gzを解凍

#tar -zxvf /opt/jdk-8u231-linux-x64.tar.gz -Cは/ usr / jdk64

4.4コンフィギュレーションの環境変数、最終面における追加コンテンツ

#vi / etc / profileを

輸出JAVA_HOME =は/ usr / jdk64 / jdk1.8.0_231

輸出PATH = $ JAVA_HOME / binに:$ PATHに

4.5リロード/ etc / profileを

#sourceは/ etc / profile

Javaのバージョン4.6を確認してください

#java -version

(5)インストールおよび構成のHadoop(2.8.5バージョン)

5.1 Hadoopの-2.8.5.tar.gzのアップロードには/ opt /ディレクトリ

5.2解凍Hadoopの-2.8.5.tar.gzには/ usr / local /

#tar -zxvf /opt/hadoop-2.8.5.tar.gz -Cは/ usr / local /

5.3は、設定ファイルを変更Hadoopの。

1)コア-site.xmlの<構成>内部に次のように追加

<プロパティ>

<名前> fs.defaultFS </名前>

<値> HDFS://マスター:8020 </ value>の

</プロパティ>

<プロパティ>

<名前> hadoop.tmp.dir </名前>

<値>は/ var / log / Hadoopのを/ tmp </ value>の

</プロパティ>

2)hadoop-env.sh、ノート#削除次の行の内容、及び=次の値を変更します。

輸出JAVA_HOME =は/ usr / jdk64 / jdk1.8.0_231

3)コメントコンテンツ#削除次の行をyarn-env.sh、および=次の値を変更します。

輸出JAVA_HOME =は/ usr / jdk64 / jdk1.8.0_231

4)mapred-site.xmlの<構成>内部に次のように追加

<プロパティ>

<名前> mapreduce.framework.name </名前>

<値>糸</値>

<説明>セットリソースのスケジューリング</記述>

</プロパティ>

<プロパティ>

<名前> mapreduce.jobhistroy.address </名前>

<値>マスター:10020 </ value>の

</プロパティ>

<プロパティ>

<名前> mapreduce.jobhistroy.webapp.address </名前>

<値>マスター:19888 </ value>の

</プロパティ>

5)糸site.xmlの<構成>内部に次のように追加

<プロパティ>

<名前> yarn.nodemanager.aux-サービス</名前>

<値> mapreduce_shuffle </ value>の

</プロパティ>

6)localhostを削除奴隷以下を追加します

主人

SLAVE1

7)HDFSは、site.xmlの<構成>内部に次のように追加します

<プロパティ>

<名前> dfs.namenode.name.dir </名前>

<value>のファイル:///データ/ Hadoopの/ HDFS /名前</ value>の

</プロパティ>

<プロパティ>

<名前> dfs.datanode.data.dir </名前>

<value>のファイル:///データ/ Hadoopの/ HDFS /データ</ value>の

</プロパティ>

<プロパティ>

<名前> dfs.namenode.secondary.httpアドレス</名前>

<値>マスター:50090 </ value>の

</プロパティ>

<プロパティ>

<名前> dfs.replication </名前>

<値> 3 </値>

</プロパティ>

仮想マシンwmwareオフ(6)。新しい仮想マシンをクローン化しました。

(7)、新たに複製されたVMを起動し、NICの設定ファイルを変更して、ネットワーク(wmwareでの動作)を再起動します。

#vi / etc / sysconfig / network-scriptsに/のifcfg-ens33

最後の文字UUIDを変更し、矛盾を変更することができます。

IPADDR = 192.168.126.129

#systemctl再起動ネットワーク

(8)元の仮想マシンを起動するには、両方のマシンは、端末CRTを再接続します。

マスター(128)ノード:

(9)のホスト名を変更します

 

#hostnamectlセットのホスト名のマスター

#bashの

 

(10)構成ファイルを変更/ etc / hostsには、次の2行を追加します

#viの/ etc / hostsファイル

192.168.126.128マスターmaster.centos.com

192.168.126.129 SLAVE1 slave1.centos.com

(11)ネットワーク・コピー・コマンドSCPを介して複製するの/ etc /ホスト/スレーブ1ノード。はい000000

#scp / etc / hostsのルート@スレーブ1:の/ etc /

 

(12)は、3回を入力し、キーなしでSSHログインを設定して

#SSH-keygenは-t rsaの

(13)は、ホストに対応する秘密鍵をコピーします。はい000000

#SSH-コピー-ID -i /root/.ssh/id_rsa.pubマスター

#SSH-コピー-ID -i /root/.ssh/id_rsa.pub SLAVE1

 

(14)インストールntpdサービス

#yum NTP -yをインストール

(15)設定されたNTP、元のサーバーアウトのコメントは、以下の2行に新しいコンテンツを追加します

#vi /etc/ntp.confファイル

#server 0.centos.pool.ntp.org IBURST

#server 1.centos.pool.ntp.org IBURST

#server 2.centos.pool.ntp.org IBURST

#server 3.centos.pool.ntp.org IBURST

 

 

サーバー127.127.1.0

ファッジ127.127.1.0地層10

 

(16)サービスを開始し、ランダムなスタートをNTP追加し、ファイアウォールをオフにします

ntpdの起動#systemctl

ntpdの有効#systemctl

#systemctlストップfirewalld

 

スレーブ1(129)のノード:

(17)ホスト名を変更します

#hostnamectlセット、ホスト名スレーブ1

#bash

 

(18)/ etc / hostsファイルの内容は、内部修飾されているかどうかを確認

#cat / etc / hostsファイル

192.168.126.128マスターmaster.centos.com

192.168.126.129 SLAVE1 slave1.centos.com

 

(19)インストールサービスのntpdate

#yumにntpdate -yをインストール

 

エラーが発生した場合の時間(20)同期マスタノードは、マスタがオフファイアウォール

#ntpdateマスター

 

(21)は、ランダム開始にntpdateに添加しました。

ntpdateを有効#systemctl

マスター(128)ノード:

(22)、環境変数は/ etc / profileを構成するには、以下のJAVA_HOME HADOOP_HOMEを追加し、PATHを変更

輸出JAVA_HOME =は/ usr / jdk64 / jdk1.8.0_231

輸出HADOOP_HOME =は/ usr / local / Hadoopの-2.8.5

輸出PATH = $ JAVA_HOME / binに:$ HADOOP_HOME / binに:$ PATH

 

(23)リロードの/ etc /プロファイル

#sourceは/ etc / profile

 

(24)形式のファイルシステムHDFS

#hdfs名前ノード-format

 

(25)開始

#sh /usr/local/hadoop-2.8.5/sbin/start-all.sh

(26)の結果をチェックを開始

お使いのブラウザを開いて、入力します

http://192.168.126.128:50070

 

あなたはケースを開くことができない場合は、ファイアウォールが実行されて確認してください。

#systemctlステータスfirewalld

#systemctlストップfirewalld

リリース8元の記事 ウォンの賞賛2 ビュー518

おすすめ

転載: blog.csdn.net/xuxin555/article/details/104598362