現在のビッグデータの開発より速く、より速く、より高く、高い技術要件、ジョブ需要も実務者が基本的な能力になるために、以下のことをHadoopのビッグデータプラットフォームを構築し、Hadoopのビッグデータ技術の基礎として、増加しています紹介のHadoopクラスタを構築するには、2台の仮想マシンが。
Centos7が大きなデータクラスタマスタノードとして、仮想マシンを作成し、オペレーティングシステムをインストールwmwareに基づく(A)。
(1)ネットワークカードの設定ファイル、実際の状況の変化に基づいてファイルを見つけることがカードから別のファイル名のLinuxのネットワークカード(のifcfg-ens33)の異なるバージョンを変更します。
#vi / etc / sysconfig / network-scriptsに/のifcfg-ens33
BOOTPROTO =静的#修飾
ONBOOT = yesの#修正
IPADDR = 192.168.126.128
NETMASK = 255.255.255.0
GATEWAY = 192.168.126.2
DNS1 = 114.114.114.114
DNS2 = 8.8.8.8
(2)再起動ネットワーク
#systemctl再起動ネットワーク
(3)閲覧IPアドレス
#ipのAの
端子接続ツールをCRT。
(4)インストールと設定JDK
4.1を開き、ファイル転送ツールsecureFX、JDKは-8u231-linuxの-x64.tar.gzのアップロードには/ opt /下げるJDK圧縮パッケージ。
4.2作成ディレクトリは/ usr / jdk64
#mkdirは/ usr / jdk64
JDK 4.3の/ usr / jdk64に圧縮JDK-8u231-linuxの-x64.tar.gzを解凍
#tar -zxvf /opt/jdk-8u231-linux-x64.tar.gz -Cは/ usr / jdk64
4.4コンフィギュレーションの環境変数、最終面における追加コンテンツ
#vi / etc / profileを
輸出JAVA_HOME =は/ usr / jdk64 / jdk1.8.0_231
輸出PATH = $ JAVA_HOME / binに:$ PATHに
4.5リロード/ etc / profileを
#sourceは/ etc / profile
Javaのバージョン4.6を確認してください
#java -version
(5)インストールおよび構成のHadoop(2.8.5バージョン)
5.1 Hadoopの-2.8.5.tar.gzのアップロードには/ opt /ディレクトリ
5.2解凍Hadoopの-2.8.5.tar.gzには/ usr / local /
#tar -zxvf /opt/hadoop-2.8.5.tar.gz -Cは/ usr / local /
5.3は、設定ファイルを変更Hadoopの。
1)コア-site.xmlの<構成>内部に次のように追加
<プロパティ>
<名前> fs.defaultFS </名前>
<値> HDFS://マスター:8020 </ value>の
</プロパティ>
<プロパティ>
<名前> hadoop.tmp.dir </名前>
<値>は/ var / log / Hadoopのを/ tmp </ value>の
</プロパティ>
2)hadoop-env.sh、ノート#削除次の行の内容、及び=次の値を変更します。
輸出JAVA_HOME =は/ usr / jdk64 / jdk1.8.0_231
3)コメントコンテンツ#削除次の行をyarn-env.sh、および=次の値を変更します。
輸出JAVA_HOME =は/ usr / jdk64 / jdk1.8.0_231
4)mapred-site.xmlの<構成>内部に次のように追加
<プロパティ>
<名前> mapreduce.framework.name </名前>
<値>糸</値>
<説明>セットリソースのスケジューリング</記述>
</プロパティ>
<プロパティ>
<名前> mapreduce.jobhistroy.address </名前>
<値>マスター:10020 </ value>の
</プロパティ>
<プロパティ>
<名前> mapreduce.jobhistroy.webapp.address </名前>
<値>マスター:19888 </ value>の
</プロパティ>
5)糸site.xmlの<構成>内部に次のように追加
<プロパティ>
<名前> yarn.nodemanager.aux-サービス</名前>
<値> mapreduce_shuffle </ value>の
</プロパティ>
6)localhostを削除奴隷以下を追加します
主人
SLAVE1
7)HDFSは、site.xmlの<構成>内部に次のように追加します
<プロパティ>
<名前> dfs.namenode.name.dir </名前>
<value>のファイル:///データ/ Hadoopの/ HDFS /名前</ value>の
</プロパティ>
<プロパティ>
<名前> dfs.datanode.data.dir </名前>
<value>のファイル:///データ/ Hadoopの/ HDFS /データ</ value>の
</プロパティ>
<プロパティ>
<名前> dfs.namenode.secondary.httpアドレス</名前>
<値>マスター:50090 </ value>の
</プロパティ>
<プロパティ>
<名前> dfs.replication </名前>
<値> 3 </値>
</プロパティ>
仮想マシンwmwareオフ(6)。新しい仮想マシンをクローン化しました。
(7)、新たに複製されたVMを起動し、NICの設定ファイルを変更して、ネットワーク(wmwareでの動作)を再起動します。
#vi / etc / sysconfig / network-scriptsに/のifcfg-ens33
最後の文字UUIDを変更し、矛盾を変更することができます。
IPADDR = 192.168.126.129
#systemctl再起動ネットワーク
(8)元の仮想マシンを起動するには、両方のマシンは、端末CRTを再接続します。
マスター(128)ノード:
(9)のホスト名を変更します
#hostnamectlセットのホスト名のマスター
#bashの
(10)構成ファイルを変更/ etc / hostsには、次の2行を追加します
#viの/ etc / hostsファイル
192.168.126.128マスターmaster.centos.com
192.168.126.129 SLAVE1 slave1.centos.com
(11)ネットワーク・コピー・コマンドSCPを介して複製するの/ etc /ホスト/スレーブ1ノード。はい000000
#scp / etc / hostsのルート@スレーブ1:の/ etc /
(12)は、3回を入力し、キーなしでSSHログインを設定して
#SSH-keygenは-t rsaの
(13)は、ホストに対応する秘密鍵をコピーします。はい000000
#SSH-コピー-ID -i /root/.ssh/id_rsa.pubマスター
#SSH-コピー-ID -i /root/.ssh/id_rsa.pub SLAVE1
(14)インストールntpdサービス
#yum NTP -yをインストール
(15)設定されたNTP、元のサーバーアウトのコメントは、以下の2行に新しいコンテンツを追加します
#vi /etc/ntp.confファイル
#server 0.centos.pool.ntp.org IBURST
#server 1.centos.pool.ntp.org IBURST
#server 2.centos.pool.ntp.org IBURST
#server 3.centos.pool.ntp.org IBURST
サーバー127.127.1.0
ファッジ127.127.1.0地層10
(16)サービスを開始し、ランダムなスタートをNTP追加し、ファイアウォールをオフにします
ntpdの起動#systemctl
ntpdの有効#systemctl
#systemctlストップfirewalld
スレーブ1(129)のノード:
(17)ホスト名を変更します
#hostnamectlセット、ホスト名スレーブ1
#bash
(18)/ etc / hostsファイルの内容は、内部修飾されているかどうかを確認
#cat / etc / hostsファイル
192.168.126.128マスターmaster.centos.com
192.168.126.129 SLAVE1 slave1.centos.com
(19)インストールサービスのntpdate
#yumにntpdate -yをインストール
エラーが発生した場合の時間(20)同期マスタノードは、マスタがオフファイアウォール
#ntpdateマスター
(21)は、ランダム開始にntpdateに添加しました。
ntpdateを有効#systemctl
マスター(128)ノード:
(22)、環境変数は/ etc / profileを構成するには、以下のJAVA_HOME HADOOP_HOMEを追加し、PATHを変更
輸出JAVA_HOME =は/ usr / jdk64 / jdk1.8.0_231
輸出HADOOP_HOME =は/ usr / local / Hadoopの-2.8.5
輸出PATH = $ JAVA_HOME / binに:$ HADOOP_HOME / binに:$ PATH
(23)リロードの/ etc /プロファイル
#sourceは/ etc / profile
(24)形式のファイルシステムHDFS
#hdfs名前ノード-format
(25)開始
#sh /usr/local/hadoop-2.8.5/sbin/start-all.sh
(26)の結果をチェックを開始
お使いのブラウザを開いて、入力します
あなたはケースを開くことができない場合は、ファイアウォールが実行されて確認してください。
#systemctlステータスfirewalld
#systemctlストップfirewalld