この記事は「CDH5デプロイメントトリロジー」の第2部で、最後の「CDH5デプロイメントトリロジー:準備」はクラスター内のすべてのマシンに必要な設定を行います。今日では、CDH5のデプロイメント、起動、構成を行います。操作を待つ
シリーズ記事リンク
マスターマシンの設定
SSH経由でマスターマシンにログインし、次の操作を実行します。
- mariadbをインストールします。
yum install mariadb-server
- mariadbサービスを開始し、ブート時に開始するように設定します。
systemctl start mariadb && systemctl enable mariadb
- データベース構成を初期化します。
mysql_secure_installation
- コンソールのプロンプトに従ってセットアップし、主にrootアカウントのパスワードを設定して、rootアカウントがリモートでログインできるようにします。
- mariadbにログインします。
mysql -u root -p123456
- rootのリモート操作に対するすべての権限を開き、更新します。
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;
flush privileges;
- 小包のローカルウェアハウスフォルダーを作成し、所有者とグループを設定します。
mkdir -p /opt/cloudera/parcel-repo
chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
- 上記でダウンロードした3つのファイルを/ opt / cloudera / parcel-repoディレクトリに配置します。3つのファイルは次のとおりです。CDH-5.7.6-1.cdh5.7.6.p0.6-el7.parcel、manifest.json、CDH-5.7.6-1.cdh5.7.6.p0.6-el7.parcel.sha1
- / opt / Clouderaの/小包・レポディレクトリCDH-5.7.6-1.cdh5.7.6.p0.6-el7.parcel.sha1ファイル名が変更CDH-5.7.6-1.cdh5.7.6.p0を。 6-el7.parcel.sha(つまり、サフィックスをsha1からshaに変更します)
- 次に、CMデータを初期化し、mariadbにログインします。
mysql -u root -p123456
- 一時アカウントに権限を付与して更新します。
create user 'temp'@'%' identified by 'temp';
grant all on *.* to 'temp'@'%' identified by 'temp' with grant option;
flush privileges;
- mariadb対話を終了します。
- /opt/cloudera-manager/cm-5.7.2/share/cmf/schema/ディレクトリを入力します。
cd /opt/cloudera-manager/cm-5.7.2/share/cmf/schema/
- 次のコマンドを実行して、CMデータを初期化します。
./scm_prepare_database.sh mysql temp -h master -utemp -ptemp --scm-host master scm scm scm
- プロンプト操作の成功:
この時点で、マスターがセットアップされ、次にworker1とworker2がセットアップされます。
worker1マシンの設定(worker2もこの方法で設定されます)
- ローカルパーセルキャッシュフォルダーを作成します。
mkdir -p /opt/cloudera/parcels
- フォルダへのアクセス許可を付与します。
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
Worker1とworker2が上記の設定を行うと、CDHを起動できます。
サーバーを起動します(マスターマシン)
- マスターへのSSHログイン。
- 起動コマンドがあるディレクトリを入力します。
cd /opt/cloudera-manager/cm-5.7.2/etc/init.d/
- サーバーを起動します。
./cloudera-scm-server start
- 正常に起動するためのプロンプトメッセージは次のとおりです。
エージェント(worker1およびworker2マシン)を開始します。
- worker1にSSHで接続します。
- 起動コマンドがあるディレクトリを入力します。
cd /opt/cloudera-manager/cm-5.7.2/etc/init.d/
- エージェントを起動します。
./cloudera-scm-agent start
- 正常に起動するためのプロンプトメッセージは次のとおりです。
- 次にworker2にログインし、上記の操作を繰り返します。
この時点で、CDHの展開と起動が完了し、セットアップを開始できます。
CDHを設定する
- ブラウザのアクセスアドレス:http : //192.168.133.154 : 7180、ログインするように求められます。アカウントとパスワードは両方adminです。
- 次のページはライセンス条項です。同意した後、バージョンを選択するためのページに入ります。以下に示すように、ここでは試用版を選択しました。
- 複数のサービスがデプロイされようとしています:
- 下の赤いボックスに示すように、マシンを選択するページに移動し、worker1とworker2の両方を確認します。
- 区画の設定は次のとおりです。
- パーセルファイルは以前にマスターマシンにダウンロードされているため、インストールパッケージのダウンロードの進行状況は最初は100%であり、配布、解凍、アクティブ化などの次の手順を辛抱強く待ちます。
- 次の図に示すように、クラスターのインストールが完了し、プロンプトに従って最適化できます。
- サービスをデプロイします。ここではすべてのサービスを選択しました:
- 役割設定ページで、ホストなしのサービスを特定のマシンに配布するために、ここでworker1を選択しました。
- データベース設定ページ。mysqlのみがマスターにインストールされているため、ここで入力するのはマスターのみです。
- 詳細設定ページは、実情に合わせて設定してください:
- さまざまなサービスを開始し、完了を待ちます。
- すべてのサービスが正常になると、ステータスページは次のようになります。
この時点で、CDH5の展開と起動は完了していますが、実際の起動プロセスはスムーズではなく、HDFSやHiveなどのサービスが起動しない可能性があります。次の記事では、これらの問題と解決策を示します。