CDH 6.0.1は、次にClouderaのスパーク2.2バージョンを使用して2.4にさらなる更新を刺激しない、厄介なバージョンです。2.4アップデート機能とバグ修正の多くとstructedストリーミングなどのプロパティの数を更新|しかし、その後、我々は2.3を見つけました。そして、最近では、最新の6.2.0 Apacheのフェニックスは、近い将来にサポートを提供します。だから私は、既存のCDHと記録をアップグレードするために見てみてください。
アップグレードCM：
1.準備：
CMは、最初の前CDHのマイナーバージョンアップにアップグレードする必要があり、そのようなバージョン6.0.1のように後方互換CMの以前のバージョンは、バージョン番号よりも小さい管理することが6.0.1バージョン6.0.1以下に管理することはできません。
リンク参照の最初のページからアップグレードセンチの準備をするために最初の公式文書に私たちに従ってください。
そして、CM CDH関連のコマンドによって、現在の状況と同様に、ホスト・システムを表示し、自分の環境を準備中上記の情報を入力します。次の手順は、ここにアップグレードすることを間違ったり混乱が満たされたものを選択することではない続きます
表示オペレーティングシステム
lsb_release -a
CMの使用の現在の状況を確認メタストア
猫/etc/cloudera-scm-server/db.properties
JDKの新しいバージョンのサポート
Clouderaのエンタープライズバージョンは、JDKをサポートされている 5.3 - 5.15 OracleのJDK 1.7、OracleのJDK 1.8 5.16、より高い5 .Xは、OracleのJDKリリース1.7、OracleのJDK 1.8、OpenJDKの1.8 6.0 のOracle JDK 1.8 6.1 OracleのJDK 1.8、OpenJDKの1.8 6.2 のOracle JDK 1.8、OpenJDKの1.8を
あなたは私たちがバージョン6.2を使用している見ることができ、まだオラクルJDK1.8をサポートしていますので、私たちはアップグレードのこの部分は必要ありません。以前にサポートされていなかったが、エージェント上の多くの問題を引き起こす可能性があるOpenJDK 1.8サポート先頭から6.1 CMスタート。
非Oraclejdk1.8学生は、このプロセスの多くする必要があるかもしれない場合は、以下の内容は、より完全な情報を参照する必要がある場合は、公式ドキュメントを参照してください、JDKを再インストールするにはスキップされ手順です。
ここでは、メジャーバージョンをアップグレードする場合は、通常の意味での作業を行うには、いくつかのバックアップデータがあり、この多段階のプロセスは非常に複雑になりますが、マイナーまたはmaintainceレベルのアップグレードは比較的少数の変更が少し楽になりますしているべきです、あなたはそんなに注意を払う必要があります。しかし、我々はまだ調理するバックアップを行う必要があり、ロールバックを確保します。
2.バックアップSCM関連モニタリングおよびデータベースコンポーネント。
バックアップCMA（ClouderaのManagerエージェント）
ユーザーフレンドリーな環境変数を作成し、バックアップフォルダの日付を作成します
輸出CM_BACKUP_DIR = " `日付+％健康CM6.0.1 " エコー$ CM_BACKUP_DIR ます。mkdir -p $ CM_BACKUP_DIR
CMAに関連したバックアップディレクトリ情報
sudoの-Eタール-cf $ CM_BACKUP_DIR / Clouderaの-SCM-agent.tar --exclude = *。靴下は/ etc / Clouderaの-SCM-エージェントの/ etc / デフォルト / Clouderaの-SCM-エージェント/ VAR /実行/ Clouderaの-scm-エージェント/ VAR / libに/ Clouderaの-SCM-エージェント
Backupインストレーション情報倉庫
sudoの-Eタール-cf $ CM_BACKUP_DIR / repository.tar /etc/yum.repos.d
SCMのアクションを停止します管理画面に移動します。すべての通常のサービスを停止します。
SCMのSCMエージェント、その後シャットダウンします
Clouderaの-scm-停止systemctl sudoのサーバー
Clouderaの停止systemctl sudoを -scm-agentを
バックアップCMS（Clouderaの管理サービス）情報
バックアップサービスのモニター情報
sudoのcpは-rp / VAR / libに/ Clouderaのサービス・モニター/ VAR / libに/ Clouderaのサービス・モニター・`date +％F`-CM6。0.1
バックアップホストのモニター情報
sudoのcpは-rp / VAR / libに/ Clouderaのホスト・モニター/ VAR / libに/ Clouderaのホスト・モニター・`date +％F`-CM6。0.1
イベントサーバのバックアップ情報
sudoのcpは-rp / VAR / libに/ Clouderaの-SCM-EVENTSERVER / VAR / libに/ Clouderaの-SCM-EVENTSERVER-`date +％F`-CM6。0.1
バックアップCMSの情報
sudoの-Eタール-cf $ CM_BACKUP_DIR / Clouderaの-SCM-server.tarの/ etc / Clouderaの-SCM-サーバーの/ etc / デフォルト / Clouderaの-SCM-サーバー
SCMバックアップデータベース情報
mysqldumpを--databasesデータベース名--host = DATABASE_HOSTNAME --port = database_port -u user_nameの-p> $ HOME /データベース名、バックアップ`date +％F`-CM6。0.1 .SQL
3.アップグレードプロセスを開始します。
CMは、アップグレードプロセスのSCMとCM-エージェントの状況が停止している時も含めて最良の保証通常の終了すべての状況の注目、です。期間を保証するために、ジョブなどの任意のスナップショットがまだ実行されている必要はありません、それはCMは、アップグレード後まで取得することがあります。
すべてのレポの設定を削除する前に
sudoをRM /etc/yum.repos.d/cloudera*manager.repo*
倉庫の設定を追加6.2.0
[cloudera- マネージャ] ＃パッケージのためのClouderaのマネージャ 名 = Clouderaのマネージャー BASEURL = HTTPS：// archive.cloudera.com/cm6/6.2.0/redhat7/yum/ gpgkey = HTTPS：// archive.cloudera.com/cm6/ 6.2.0 / redhat7 / YUM / RPM-GPG-KEY-Clouderaの gpgcheck = 1
我々はすでに、JDKのOracle1.8ているので、我々は、スキップJDKのインストール手順。
アップデートSCM
sudoのyumはすべてきれい
にsudo yumのアップグレードClouderaの -managerサーバClouderaのManagerのデーモンのClouderaのマネージャ、エージェントを
そして、それがある場合には、国内のサーバーアクセスClouderaのサービスが遅くなる可能性があるため、速度は悪魔が1.1ギガバイトを持っている非常に長い時間を待つためにここにない場合は、待つことです
いない推奨速度は、アップグレードする前に、事前にエージェントをproxychainすることができます。アップグレードが完了したら、あなたは見ることができます
[ryze- @ルート1 -qaます。＃rpm yum.repos.d] ' Clouderaの-マネージャ- * ' Clouderaのの -manager-daemons- 6.2。0 - 968826 .el7.x86_64 Clouderaのの -manager-サーバ- 6.2。0 - 968826 .el7.x86_64 Clouderaのの -manager-剤- 6.2。0 - 968826 .el7.x86_64
アップグレードされた私たちのエージェント・サービスとサービスSCMを開始します
このインターフェイスに来て、このインターフェイスに来ることができない場合は、いくつかのトラブルシューティングを行うには、ログを参照することができます
tail -f / VAR /ログ/ Clouderaの-SCM-サーバー/ Clouderaの-scm- のserver.logの テール -f / VAR /ログ/ Clouderaの-SCM-エージェント/ Clouderaの-scm- agent.log テール -f / VAR /ログ/メッセージ
4.ヘルプの他のマシンにアップグレードエージェント：
公式には、インストールの2つのメソッドを提供しています。
1.以下に示す最初のインタフェースは、直接タップ以上であること、及び他のマシンのキーのインストールを実行するインストールパッケージ前と同じことができます。私たちは、この非常に便利なの使用を推奨していますが、ネットワーク上にない場合は、次のメソッドを使用することができます。
手動で更新する各マシンのエージェントのバージョンについて、上記の手順を以下のために2.第2の方法はされて、私はそれは同じ展開がラインバッチ展開上のスクリプトを書くことができている場合は、アップグレードするプレゼンテーションを行うために取得します。
ランディングターゲット・マシン
前回のレポを削除します。
sudoをRM /etc/yum.repos.d/cloudera*manager.repo*
ディレクトリ内の情報は、必要なファイルをアップグレード/etc/yum.repos.d/cloudera-manager.repo作成/etc/yum.repos.d
[cloudera-manager] # Packages for Cloudera Manager name=Cloudera Manager baseurl=https://archive.cloudera.com/cm6/6.2.0/redhat7/yum/ gpgkey=https://archive.cloudera.com/cm6/6.2.0/redhat7/yum/RPM-GPG-KEY-cloudera gpgcheck=1
停止机器上的 agent
sudo systemctl stop cloudera-scm-agent
更新 agent packages
sudo yum clean all
sudo yum repolist
sudo yum upgrade cloudera-manager-daemons cloudera-manager-agent
安装完成
rpm -qa 'cloudera-manager-*' cloudera-manager-agent-6.2.0-..cm... cloudera-manager-daemons-6.2.0-..cm...
重新启动 agent 向 cm 上报信息
sudo systemctl start cloudera-scm-agent
不管采用那种办法，当 agent 全部升级完毕后，使用 Host Inspector 检测所有上报机器情况。
注意在安装包的过程可能出现某些主机失败，放心 cm 会对安装失败的软件包进行回滚，我们可以等到所有都安装停下来之后刷新页面重试失败的即可。注意观察相关的日志，看是否错误是因为一些包冲突引起的，那些错误需要手动排除一下。
升级完成之后
进入 HOME PAGE 应该会看到很多配置上的修改，应该都是新版本 CM 对 DP 上的一些优化，重新部署相关客户端即可。
在完成了 CM 升级之后，未来几天我将会对 CDH 进行升级，到时候会再记录一下，以上。
Reference:
https://www.cloudera.com/documentation/enterprise/upgrade/topics/ug_cm_upgrade_before.html#cm_upgrade_before
https://www.cloudera.com/documentation/enterprise/upgrade/topics/ug_cdh_upgrade.html