A、 ambari アーキテクチャ解析
第二に、環境の基本的な構成
二つにノードの例としてのアセンブリのHadoopは、分散クラスタ、本明細書で使用システムバージョンで Centos7 1511として以下の表に示します：
| ホスト名 |
メモリ |
ハードディスク |
IPのアドレス |
役割 |
| マスター |
8192メガバイト |
100グラム |
192.168.200.6 |
Ambari-サーバー Ambariエージェント |
| 奴隷 |
8192メガバイト |
100グラム |
192.168.200.7 |
Ambariエージェント |
情報を構築するために必要なソフトウェアの各バージョン
① ambari-2710-centos7targz
② JDK-8u151-linuxの-x64.tar.gz
③ HDP-3010-centos7-rpmtargz
④ HDP-utilsの-1.1.0.22-centos7.tar
⑤ のCentOS-7-x86_64版- DVD-1511.iso
1. でIaaSのは2つのクラウドホスティングプラットフォームを作成します
- ホスト名、ホスト名解決の設定
VIの/ etc / hosts
- ミラーマウントとのconfigureローカルのyum ソース
まず、など所望の画像、インストールパッケージは、によって secureFX にアップロードマスターさんは/ opt ディレクトリ
マスターノード
3.1 には/ opt ディレクトリ、エキスambari.tar.gz アーカイブ
[ルートマスター@〜]＃のCDの/ opt
[ルートマスターオプト@]＃LSは
ambari-2.7.1.0-centos7.tar.gz HDP-3.0.1.0-centos7-rpm.tar.gz
何百HDP-便利-1.1.0.22-centos7.tar
[マスターオプト@ルート]＃タール-zxvf ambari-2.7.1.0-centos7.tar.gz
抽出は得ることが完了した後 ambari フォルダを
[ルートマスター@〜]＃LSは
CentOSの-7-x86_64版 - DVD-1511.iso
[ルートマスター@〜]＃マウント-oループのCentOS-7-x86_64版 - DVD-1511.isoを/ mnt /
[ルート@マスター〜]＃ます。mkdirは/ opt / CentOSの
[ルートマスター@〜]＃cpは-rvfを/ mnt / *は/ opt / CentOSの/
[ルートマスター@〜]＃のCDの/etc/yum.repos.d/
[マスターyum.repos.d @ルート]＃LSは
CentOSの-Base.repoのCentOS-Debuginfo.repoのCentOS-Sources.repo
CentOSの-CR.repoのCentOS-fasttrack.repoのCentOSの-Vault.repo
[マスターyum.repos.d @ルート]＃RM -rf *
[マスターyum.repos.d @ルート]＃viのlocal.repo
[CentOSに】
名= CentOSの
BASEURL =ファイル：/// OPT / CentOSの
gpgcheck = 0
有効= 1
[Ambari]
名前= ambari
BASEURL =ファイル：///opt/ambari/centos7/2.7.1.0-169/
gpgcheck = 0
有効= 1
保存して終了
ソース、ソースリストをクリーンアップ
[ルートマスター@〜]＃yumをきれいにすべての
ロードされたプラグイン：fastestmirror
清掃レポ：ambari CentOSの
すべてのクリーンアップ
最速のミラーのリストをクリーンアップします
[ルートマスター@〜]＃yumをリスト
[ルート@マスター〜]＃yumをvsftpdのインストール
[ルート@マスター〜]＃viの/etc/vsftpd/vsftpd.conf
加えます
anon_root =は/ opt /
3.2 ブートの設定にvsftpdを
[ルートマスター@〜]＃は、vsftpdのを有効にsystemctl
[ルートマスター@〜]＃systemctlの開始vsftpdの
よだれノード
[ルート@よだれ〜]＃のCDの/etc/yum.repos.d/
[ルート@よだれyum.repos.d]＃LSは
CentOSの-Base.repoのCentOS-Debuginfo.repoのCentOS-Sources.repo
CentOSの-CR.repoのCentOS-fasttrack.repoのCentOSの-Vault.repo
[ルート@よだれyum.repos.d]＃RM -rf *
[ルート@よだれyum.repos.d]＃viのftp.repo
[CentOSに】
名= CentOSの
BASEURL = FTP：//192.168.200.6/centos
gpgcheck = 0
有効= 1
[Ambari]
名前= ambari
BASEURL = FTP：//192.168.200.6/ambari/centos7/2.7.1.0-169/
gpgcheck = 0
有効= 1
保存して終了
- 設定 NTP サービス
マスターノード
[ルートマスター@〜]＃yumを-y NTPをインストール
[ルート@マスター〜]＃viの/etc/ntp.confファイル
4.1 元サーバーのコメント
加えます
サーバー127.127.1.0
ファッジ127.127.1.0地層10
[ルートマスター@〜]＃は、ntpdのを有効にsystemctl
[ルート@マスター〜]＃systemctlの開始のntpd
よだれノード
[ルート@よだれ〜]＃yumを-yにntpdateをインストール
[ルート@よだれ〜]＃件のntpdateマスター
[ルート@よだれ〜]にntpdateを有効systemctl＃
- 設定 SSH フリーアクセス秘密
マスターノード
[ルート@マスターが〜]＃yumをインストールしたopenssh-クライアント
[ルートマスター@〜]＃sshを-keygenは
[ルートマスター@〜]＃sshをコピー-IDのslaver.hadoop
よだれノード
[ルート@よだれ〜]＃yumをOpenSSHの-クライアントをインストールします
[ルート@よだれ〜]＃sshを-keygenは
[ルート@よだれ〜]＃sshをコピー-IDのmaster.hadoop
- 無効に透明な巨大ページ
システムのバックグラウンドと呼ばた動作 khugepaged プロセスを、可能な状況であろうすべてのプロセスメモリ、走査されたであろう4kpage に交換巨大なページとメモリ割り当て動作の様々なプロセスにおいては、各活動のために必要とされますメモリロック、ダイレクトメモリアクセスの種類は、プログラムのパフォーマンスに影響を与え、そしてこのプロセスはアプリケーションに対して透過的で、アプリケーションレベルで制御することができない、特別のためのための4Kページの最適化プログラムは、パフォーマンスの低下、ランダムな現象を引き起こす可能性があります。
マスター＆スレーブR
[ルート@マスターが〜]＃は> / SYS /カーネル/ MM / transparent_hugepage /有効決してエコー
[ルート@マスター〜]＃エコー決して> / SYS /カーネル/ MM / transparent_hugepage /デフラグ
[ルートマスター@〜]＃猫/ SYS /カーネル/ MM / transparent_hugepage有効/
いつものアドバイス[決して]
再起動が失敗した後、我々は再び実行する必要があります
- インストールの設定 JDK
マスターノード
[ルート@マスター〜]＃ます。mkdirは/ usr / jdk64 /
[ルートマスター@〜]＃タール-zxvf JDK-8u151-linuxの-x64.tar.gz -Cは/ usr / jdk64 /
[マスター@ルート〜]＃viのは/ etc / profile
7.1次の2つの変数を追加します。
輸出JAVA_HOME =は/ usr / jdk64 / jdk1.8.0_151
輸出PATH = $ JAVA_HOME / binに：$ PATHに
[ルートマスター@〜]＃ソースは/ etc / profile
[ルート@マスター〜]＃のJava -version
Javaのバージョン "1.8.0_151"
Javaの（TM）SEランタイム環境（ビルド1.8.0_151-B12）
Java HotSpot（TM）64ビットサーバーVM（ビルド25.151-B12、混合モード）
よだれノード
[ルート@よだれ〜]＃ます。mkdirは/ usr / jdk64 /
[ルート@よだれ〜]＃scpの192.168.200.6://root/jdk-8u151-linux-x64.tar.gz。
JDK-8u151-Linuxベースx64.tar.gz 100％181メガバイト90.5メガバイト/秒00:02
[ルート@よだれ〜]＃タール-zxvf JDK-8u151-linuxの-x64.tar.gz -Cは/ usr / jdk64 /
[スレーブルート@〜]＃viのは/ etc / profile
輸出JAVA_HOME =は/ usr / jdk64 / jdk1.8.0_151
輸出PATH = $ JAVA_HOME / binに：$ PATHに
[ルート@よだれ〜]＃ソースは/ etc / profile
[ルート@よだれ〜]＃のJava -version
Javaのバージョン "1.8.0_151"
Javaの（TM）SEランタイム環境（ビルド1.8.0_151-B12）
Java HotSpot（TM）64ビットサーバーVM（ビルド25.151-B12、混合モード）
- インストール httpdサービスを
8.1 HTTPDをインストール
[ルート@マスター〜]＃yumを-yインストールのhttpd
[ルートマスター@〜]＃はhttpd.serviceを有効systemctl
[ルートマスター@〜]＃が開始systemctl httpd.service
[ルートマスター@〜]＃systemctlのステータスhttpd.service
8.2 解凍HDP
/ opt ディレクトリ
HDP-3.0.1.0-centos7-rpm.tar.gz
HDP-utilsの-1.1.0.22-centos7.tar
減圧し、コピーした / var / www / htmlと設定
[マスターオプト@ルート]＃タール-zvxf HDP-3.0.1.0-centos7-rpm.tar.gz -C / var / www / htmlと設定/
[マスターオプト@ルート]＃タール-zvxf HDP-utilsの-1.1.0.22-centos7.tar -C / var / www / htmlと設定/
三、ambari・サーバーのインストール・設定
マスターノード
[ルート@マスター〜]＃yumを-y ambari-サーバーをインストール
1. インストール MariaDBのデータベースを
[ルートマスター@〜]＃yumをmariadb mariadb-サーバーのMySQLコネクタ - Javaのインストール
1.1 データベースサービスを開始
[ルートマスター@〜]＃はmariadbを有効systemctl
[ルート@マスター〜]＃systemctlの開始mariadb
1.2 構成データベースサービス
[ルートマスター@〜]＃のmysql_secure_installation
ルートパスワードSET？[Y- / N-] Y- （のパスワードを設定 BigData ）
匿名ユーザーを削除しますか？[Y / N]と
リモートで許可しないrootログイン？[Y / N] N
それにテスト・データベースとのアクセスを削除しますか？[Y / N] Y
リロード権限テーブルになりましたか？[Y / N]と
[ルート@マスター〜]＃mysqlの-uroot -pbigdata
MariaDB [（なし）]>データベースambariを作成します。
MariaDB [（なし）]> ambari上のすべての権限を付与* 'bigdata' によって識別される 'ambari' @ 'localhostの' に。
MariaDB [（なし）]を> ambari上のすべての権限を付与しない* 'ambari' @ '％' から 'bigdata' によって識別されます。
MariaDB [（なし）]>使用ambari。
MariaDB [ambari]>ソース/var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql
MariaDB [ambari]>終了
- 設定 ambariサーバ
[ルート@マスター〜]＃viのは/ etc / profile
加えます
輸出BuildNumberを= 2.7.1.0
[ルートマスター@〜]＃ambari・サーバーのセットアップ
パイソン/ usr / bin / pythonを使用して
セットアップambariサーバ
SELinuxを確認しています...
SELinuxのステータスが「無効」
ambariサーバデーモンのカスタマイズユーザアカウント[Y / N]（N）？n個
ambariサーバのアクセス権と所有権の調整...
ファイアウォールの状態を確認しています...
JDKを確認しています...
[1] OracleのJDK 1.8 + Java Cryptography Extension（JCE）ポリシーファイル8
[2]カスタムJDK
================================================== ============================
入力の選択（1）：2
警告：JDKは、すべてのホストにインストールする必要があり、JAVA_HOMEは、すべてのホスト上で有効でなければなりません。
WARNING：JCEポリシーファイルは、Kerberosセキュリティを構成するために必要とされます。Kerberosを使用する場合は、必ずJCE無制限強度の管轄ポリシーファイルを作成してくださいすべてのホスト上で有効です。
JAVA_HOMEへのパス：/usr/jdk64/jdk1.8.0_151
Ambariサーバー上の検証JDKは...行って。
Ambari ServerのJDKのバージョンを確認してください...
JDKのバージョンが見つかりました：8
最小JDKのバージョンはAmbariための8です。Ambari Serverのセットアップ異なるJDKにスキップします。
GPLソフトウェア契約書を確認しています...
LZOのためのGPLライセンス：https://www.gnu.org/licenses/old-licenses/gpl-2.0.en.html
GPLをダウンロードしてインストールするAmbariサーバーを有効にし、[Y / N]（n）はLZOパッケージをライセンス？n個
セットアップを完了しています...
データベースの設定...
高度なデータベースの設定を入力し、[Y / N]（N）？と
データベースの設定...
================================================== ============================
次のオプションのいずれかを選択します。
[1] - PostgreSQLの（組み込み）
[2] - オラクル
[3] - のMySQL / MariaDB
[4] - のPostgreSQL
[5] - Microsoft SQL Serverの（テックプレビュー）
[6] - SQL Anywhereの
[7] - BDB
================================================== ============================
入力の選択（1）：3
ホスト名（ローカルホスト）：
ポート（3306）：
データベース名（ambari）：
ユーザー名（ambari）：
データベースパスワード（bigdata）を入力します。
ambariデータベースの設定...
使用既存のデフォルトのJDBC /usr/share/java/mysql-connector-java.jar [Y / N]（y）をambariべきでしょうか？
リモートデータベース接続プロパティを設定します...
WARNING：Ambari Serverを起動する前に、スキーマを作成するために、データベースに対して次のDDLを実行する必要があります。/var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql
リモートデータベース接続プロパティ[Y / N]（y）を設定するに進み？
システムビューの抽出...
sambari-adminの-2.7.1.0.169.jar
....
Ambariレポファイルはrepoinfosの変更をスキップし、最新のJSONのURLが含まれていません
ambariサーバのアクセス権と所有権の調整...
Ambari Serverのセットアップは、「正常に完了しました。
--jdbc-DB = mysqlの--jdbcドライバ=は、/ usr / share / javaの/ mysqlのコネクタ-java.jar [ルートマスター@〜]＃ambari・サーバーのセットアップ
- スタート ambariサーバサービス
[ルートマスター@〜]＃ambari・サーバーの開始
DBは、整合性チェックをコンフィグ：エラーや警告は見つかりませんでした。
正常に完了しAmbari Serverの「スタート」。
四、ambariエージェントインストール構成
マスター＆スレーブR
1.インストールambariエージェント
[ルート@マスター〜]＃yumを-y ambari-エージェントをインストール
[ルート@よだれ〜]＃yumを-y ambari-エージェントをインストール
- 修正変数
[ルート@マスター〜]＃viの/etc/ambari-agent/conf/ambari-agent.ini
[スレーブルート@〜]＃我々/etc/ambari-agent/conf/ambari-agent.ini
[サーバ] のように変形 master.hadoop
ホスト名= master.hadoop
3. 再起動ambariエージェントサービス
[ルートマスター@〜]＃ambariエージェントの再起動
[ルート@よだれ〜]＃ambariエージェントの再起動
V. デプロイのHadoop クラスタ
1. アクセスWEB インターフェース
お使いのブラウザを開き、入力 IP：8080 訪問ambari ウェブインタフェースを
このマシンは、 http://192.168.200.6:8080
デフォルトのユーザー名の管理
デフォルトのパスワードは、 管理者
- 新しいクラスタを作成します
3.1 ネーミングクラスタ
3.2 選択ローカルウェアハウス・ソース
選択 7 REDHAT
http://192.168.200.6/HDP/centos7/3.0.1.0-187/
http://192.168.200.6/HDP-UTILS/centos7/1.1.0.22/
3.3 ホスト名の設定
3.4 ホスト状態登録チェック
3.5 サービスのインストールオプション
ここでは、選択しました
YARN + MapReduce2
HDFS
ZooKeeperの
Ambariメトリック
Spark2
3.6 サービス割り当てられたマスター
デフォルト。
3.7 ノードのサービス選択
セットGrafanaのパスワード
デフォルトは次
確認展開
展開を開始