ブリーフ

最近の技術的な事前研究プロジェクトを計画する企業は、比較的新しいCDH6.3.1の展開を使用する予定です。

PS：

公式要件ます。https：//docs.cloudera.com/documentation/enterprise/6/release-notes/topics/rg_requirements_supported_versions.html

第二に、環境を準備

1、ハードウェア：

Linuxディストリビューション：CentOSの7.4

IP	ホスト	CPU（E5-2630）	メモリ（M393A4K40CB1-CRC）	ディスク
10.95.102.10	node10.research.com	40個のコア	128G	3.6T * 2
10.95.102.6	node06.research.com	40個のコア	128G	3.6T * 2
10.95.102.7	node07.research.com	40個のコア	128G	3.6T * 2

2、ソフトウェア

JDK：JDK-8u181-linuxの-x64.tar.gz

接続します。https：//www.oracle.com/technetwork/java/javase/downloads/java-archive-javase8-2177648.html

MySQLの：mysqlの-5.7.26-EL7-x86_64.tar.gz

接続します。https：//dev.mysql.com/downloads/mysql/5.7.html#downloads

MySQLのJDBCジャー：MVのmysql-コネクタ-javaの-5.1.47.jarのmysql-コネクタjava.jar

接続します。http：//central.maven.org/maven2/mysql/mysql-connector-java/5.1.47/mysql-connector-java-5.1.47.jar

CM：CM6.3.1

接続します。https：//archive.cloudera.com/cm6/6.3.1/repo-as-tarball/cm6.3.1-redhat7.tar.gz

小包：

https://archive.cloudera.com/cdh6/6.3.1/parcels/CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel

https://archive.cloudera.com/cdh6/6.3.1/parcels/CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel.sha1

https://archive.cloudera.com/cdh6/6.3.1/parcels/manifest.json

より最近のネットワークディスク・ソフトウェア・パッケージは、自己作成することができます。

リンクします。https：//pan.baidu.com/s/1UH50Uweyi7yg6bV7dl02mQの
抽出コード：nx7p

第三に、環境の初期化

1、Linuxのホスト名を設定します

各ノードが実行するには、hostnameコマンドを変更します。

hostnamectlセット、ホスト名node06.research.com

hostnamectlセット、ホスト名node07.research.com

hostnamectlセット、ホスト名node10.research.com

/ etc / hostsファイルの内容を見るために、各ノードに追加されます。

node06.research.com 10.95.102.6
10.95.102.7 node07.research.com
10.95.102.10 node10.research.com

2、ファイアウォールクラスタの電源を切ります

各ノードで実行

systemctl停止firewalld && systemctl無効firewalld &&のiptables -F

図3は、クラスタSELinuxをシャットダウン

viのは/ etc / selinuxを/ configに

SELINUX =無効

有効にする無効にLinuxシステムの再起動に変更した後

4、クラスタクロック同期を設定

すべての上海海アジアのタイムゾーン設定をノード

[ルート@ node06〜]＃のtimedatectlセット-タイムゾーンアジア/上海

[ルート@ node07〜]＃のtimedatectlセット-タイムゾーンアジア/上海

[ルート@ NODE10〜]＃のtimedatectlセット-タイムゾーンアジア/上海

＃すべてのノードがNTPをインストール

[ルート@ node06〜]＃yumを-y NTPをインストール

選択＃は、NTP node06マスターノードであります

[ルート@ node06〜]＃viの/etc/ntp.confファイル

＃時間

サーバー0.centos.pool.ntp.org IBURST
サーバー1.centos.pool.ntp.org IBURST
サーバー2.centos.pool.ntp.org IBURST
サーバー3.centos.pool.ntp.org IBURST

＃は、使用可能なローカルハードウェアの時間によって、外付けの時間では使用できない場合

ローカルクロックIBURSTサーバー127.127.1.0

＃⽹同期時にデバイスを許可するマシンのネットワーク

172.21.230.0マスク255.255.255.0 NOMODIFY notrapを制限

＃ntpdにオープンし、ビューのステータス

[ルート@ node06〜]＃は、ntpdが起動systemctl

[ルート@ node06〜]＃systemctlのステータスのntpd

図5に示すように、各ノードの展開JDK

[ルート@ node06〜]＃ます。mkdirは/ usr / javaの
[ルート@ node06〜]＃タール-zxf CDH / JDK-8u191-linuxの-x64.tar.gz -Cは/ usr / javaの/
[ルート@ node06〜]＃chownコマンド-Rルート：ルート/usr/java/jdk1.8.0_191
[ルート@ node06〜]＃エコー"輸出JAVA_HOME =は/ usr / javaの/ jdk1.8.0_191" >> / etc / profileを
[ルート@ node06〜]＃エコー"輸出のPATH =は/ usr / javaの/ jdk1.8.0_191 / binに：$ {PATH}" >> / etc / profileを
[ルート@ node06〜]＃ソースは/ etc / profile
[ルート@ node06〜]＃これはjavaの
は/ usr /java/jdk1.8.0_191/bin/java

[ルート@ node06〜]＃のJava -version
javaのバージョン"1.8.0_191"
のJava（TM）SEランタイム環境（ビルド1.8.0_191-B12）
は、Java HotSpot（TM）64ビットサーバーVM（ビルド25.191-B12、混合モード）

図6に示すように、マスタノードは、MySQLを展開します

参考：https://github.com/Hackeruncle/MySQL/blob/master/MySQL%205.7.11%20Install.txt

7、CDHは、ソース・データベース、ユーザー、アモンサービスデータベースを作成します

デフォルトの文字セットのCMFデータベースを作成し、UTF8。
デフォルトの文字セットのAMONデータベースを作成し、UTF8。
CMFで、すべてを許可* TO 'CMF' @ 'www.research.com BY' IDENTIFIED '％'。;
'www.research.com BY' IDENTIFIEDアモンにすべてを与える* TO 'アモン' @ '％' ; フラッシュ権限;

8、マスターノードの展開JDBC

[ルート@ node06〜]＃ます。mkdir -pは、/ usr / share / javaの
[ルート@ node06〜]＃cpはCDH / mysqlのコネクタ-javaの-5.1.47.jarを/ usr / share / javaの/
[ルート@ node06〜] ＃CDを/ usr / share / javaの/
[ルート@ node06のjava]＃mvのmysqlのコネクタ-javaの-5.1.47.jarのmysql-コネクタjava.jar
[ルート@ node06のjava]＃

四、CDH展開

1、オフライン展開CMサーバとエージェント

ソフトウェアの解凍ソフトウェアのディレクトリを作成するためのすべてのノード[1.1]

[ルート@ node06オプトイン]＃ます。mkdir Clouderaのマネージャ
[ルート@ node06オプト]＃のCD
[ルート@ node06〜]＃のCDのCDH
[ルート@ node06 CDH]＃タール-zxf cm6.3.1-redhat7.tar.gz -C / OPT / Clouderaのマネージャー

マスタノード06 CMサーバとしてマスターノードが実行を選択する1.2 [06]、直接展開

[ルート@ node06 CDH]＃のCD /opt/cloudera-manager/cm6.3.1/RPMS/x86_64/
[ルート@ node06 x86_64版]＃rpmで-ivh ClouderaのManagerのデーモン-6.3.1-1466458.el7.x86_64.rpm --nodeps --force
[ルート@ node06 x86_64の]＃RPM -ivh ClouderaのManagerのサーバ6.3.1-1466458.el7.x86_64.rpm --nodeps --force

直接デプロイされたすべてのノードCM剤として[（マスタノードを含む）すべてのノードのために1.3

CD /opt/cloudera-manager/cm6.3.1/RPMS/x86_64
のrpm -ivh ClouderaのManagerのデーモン・6.3.1-1466458.el7.x86_64.rpm --nodeps --force
のrpm -ivh Clouderaのマネージャー、エージェント- 6.3.1-1466458.el7.x86_64.rpm --nodeps --force

サーバノード06へのエージェントの設定ポイントを変更するすべてのノード[1.4]

-i "S / SERVER_HOST =ローカルホスト/ SERVER_HOST = node06.research.com / G" /etc/cloudera-scm-agent/config.iniのsed

[1.5]構成サーバの修正マスタノード

[ルート@ node06 x86_64版]＃vimの/etc/cloudera-scm-server/db.properties

com.cloudera.cmf.db.type = mysqlの

com.cloudera.cmf.db.host = node06.research.com

com.cloudera.cmf.db.name = CMF

com.cloudera.cmf.db.user = CMF

com.cloudera.cmf.db.password = www.research.com

com.cloudera.cmf.db.setupType = EXTERNAL

2、プライマリーソースノード展開小包オフライン

2.1 HTTPDをインストール

yumをインストール-yのhttpd

2.2展開オフライン小包ソース

[ルート@ node06〜]＃ます。mkdir -p / var / www / htmlと設定/ cdh6_parcel
[ルート@ node06〜]＃cpはCDH / CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcelは/ var / WWW / HTML / cdh6_parcel /
[ルート@ node06〜]＃mvのCDH / CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel.sha1 /var/www/html/cdh6_parcel/CDH-6.3。 1 [ルート@ノード[ルート@ node06〜]＃mvのCDH / CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel.sha1 /var/www/html/cdh6_parcel/CDH-6.3.1 -1.cdh6.3.1.p0.1470567-el7.parcel.sha
[ルート@ node06〜]＃mvのCDH / manifest.jsonを/ var / www / htmlと設定/ cdh6_parcel /
[ルート@ node06〜]＃のhttpdを起動しsystemctl

2.3ページビューhttp://10.95.102.6/cdh6_parcel/

3,06マスターブート・サーバ・ノード

[ルート@ node06〜]＃systemctlの開始Clouderaの-SCM-サーバー
[ルート@ node06〜]＃LLは/ var / log / Clouderaの-SCM-サーバー/
合計20
-rw-R ----- 1 Clouderaの-SCM cloudera- SCM 16679 12月10日18時27 Clouderaの-SCM-のserver.log
-rw-R ----- 1体のClouderaの-SCM Clouderaの-SCM 0 12月10日18時27 CMF-サーバnio.log
-rw-R --- - 1 Clouderaの-SCM Clouderaの-SCM 0 12月10日夜06時27分CMF-サーバperf.log
[ルート@ node06〜]＃テール/var/log/cloudera-scm-server/cloudera-scm-server.log