アップグレードされたSparkのアップグレード
CDH5.12.1クラスターでは、デフォルトでインストールされているSparkはバージョン1.6であり、ここでSpark2.1バージョンにアップグレードする必要があります。公式ドキュメントを調べたところ、Spark1.6と2.xを並行してインストールできることがわかりました。つまり、デフォルトの1.6バージョンを削除せずに2.xバージョンを直接インストールでき、使用するポートが異なります。
Clouderaは、Apache Spark 2の概要をリリースしました（インストール方法とパーセルパッケージリポジトリはここにあります）
Clouderaの公式Webサイトでは、関連する区画のオフラインインストールパッケージをダウンロードできます。
https://www.cloudera.com/documentation/spark2/latest/topics/spark2_installing.html
Cloudera Managerと5.12.0バージョンの紹介：
アップグレードプロセス
1オフラインパッケージのダウンロード
1）必要なソフトウェア：http : //archive.cloudera.com/spark2/csd/
2）Parcelsパッケージのダウンロードアドレス：http : //archive.cloudera.com/spark2/parcels/2.1.0.cloudera1/
2オフラインパッケージのアップロード
1）SPARK2_ON_YARN-2.1.0.cloudera1.jarファイルを/ opt / cloudera / csd /以下にアップロードします
2）SPARK2-2.1.0.cloudera1-1.cdh5.7.0.p0.120904-el6.parcelおよびSPARK2-2.1.0.cloudera1-1.cdh5.7.0.p0.120904-el6.parcel.sha1にファイルをアップロードします/ opt / cloudera / parcel-repo /
3）SPARK2-2.1.0.cloudera1-1.cdh5.7.0.p0.120904-el6.parcel.sha1の名前をSPARK2-2.1.0.cloudera1-1.cdh5.7.0.p0.120904-el6.parcelに変更します。 .sha
[ルート@ hadoop101小包-レポ]＃mvのは/ opt / Clouderaの/小包-レポ/ SPARK2- 2.1。0 .cloudera1- 1 .cdh5。7.0 .p0。120904 -el6.parcel.sha1 / opt / cloudera / parcel-repo / SPARK2- 2.1。0 .cloudera1- 1 .cdh5。7.0 .p0。120904 -el6.parcel.sha
[kris @ hadoop101 parcel- repo] $ ll
合計2673860
-rw-r--r-- 1 kris kris 364984320 2019 7月 2日 APACHE_PHOENIX- 4.14。0 -cdh5。14.2 .p0。3 - el7.parcel
-rw-r--r-- 1 kris kris 41 Jul 2 2019 APACHE_PHOENIX- 4.14。0 -cdh5。14.2 .p0。3 - el7.parcel.sha
-rw-r ----- 1ルートルート 14114 7月 2 2019 APACHE_PHOENIX- 4.14。0 -cdh5。14.2 .p0。3 - el7.parcel.torrent
-rw-r--r-- 1 cloudera-scm cloudera-scm 2108071134 2019年 6月27日 CDH- 5.14。2 - 1 .cdh5。14.2 .p0。3 - el7.parcel
-rw-r--r-- 1 cloudera-scm cloudera-scm 41 Jun 27 2019 2019 CDH- 5.14。2 - 1 .cdh5。14.2 .p0。 3 - el7.parcel.sha
-rw-r ----- 1 cloudera-scm cloudera-scm 80586 2019年 6月27日 CDH- 5.14。2 - 1 .cdh5。14.2 .p0。3 - el7.parcel.torrent
-rw-r--r-- 1 cloudera-scm cloudera-scm 72851219 2019年 6月29日 KAFKA- 3.1。1 - 1.3。1.1 .p0。2 - el7.parcel
-rw-r--r-- 1 cloudera-scm cloudera-scm 41 2019年 6月29日 KAFKA- 3.1。1 - 1.3。1.1 .p0。2 - el7.parcel.sha
-rw-r ----- 1ルートルート 2940 2019年 6月29日 KAFKA- 3.1。1 - 1.3。1.1 .p0。2 - el7.parcel.torrent
-rw-r--r-- 1 cloudera-scm cloudera-scm 74062 2019年 6月27日manifest.json
-rw-r--r-- 1 cloudera-scm cloudera-scm 191904064ジュン29 2019年 SPARK2- 2.3。0 .cloudera4- 1 .cdh5。13.3 .p0。611179 - el7.parcel
-rw-r--r-- 1 cloudera-scm cloudera-scm 41 Oct 5 2018 SPARK2- 2.3。0 .cloudera4- 1 .cdh5。13.3 .p0。611179 - el7.parcel.sha
-rw-r ----- 1 cloudera-scm cloudera-scm 7521 2019年 6月29日 SPARK2- 2.3。0 .cloudera4- 1 .cdh5。13.3 .p0。611179 - el7.parcel.torrent
[kris @ hadoop101 parcel -repo] $ pwd
/ home / kris / apps / usr / webserver / cloudera / parcel- repo
[kris @ hadoop101 csd] $ pwd
/ home / kris / apps / usr / webserver / cloudera / csd
[kris @ hadoop101 csd] $ ll
合計28
-rw-r--r-- 1 cloudera-scm cloudera-scm 5670 Feb 22 2018 2018 KAFKA- 1.2。0 .jar
-rw-r--r-- 1 cloudera-scm cloudera-scm 19037 10月 5 2018 SPARK2_ON_YARN- 2.3。0 .cloudera4.jar
[kris @ hadoop101 csd] $ ll
合計28
-rw-r--r-- 1 cloudera-scm cloudera-scm 5670 2018年 2月22日 KAFKA- 1.2。0 .jar
-rw-r--r-- 1 cloudera-scm cloudera-scm 19037 2018年 10月 5日 SPARK2_ON_YARN- 2.3。0 .cloudera4.jar
ページ操作
区画を更新
cmホームページで[小包]をクリックし、クリックして新しい小包を確認します。
クリックして割り当て、クリックしてアクティブ化、ホームページに戻り、クリックしてサービスを追加
Spark2がない場合は、サーバーを再起動します。
[root @ hadoop101〜]＃ / opt / module / cm / cm- 5.12。1 /etc/init.d/cloudera-scm-server restart
依存関係のセットを選択する
役割の割り当て、展開、起動
注：私はここでエラーを報告しました：クライアント構成（id = 12）は1で終了し、期待値は0
1です）問題の原因：CMをインストールしたSparkがJavaを見つけるために環境変数に移動しないため、最終的に理由が見つかりました。 CMプロファイルへのJavaパス追加
2を再起動CDHに分解能1（必要性））：
[ルート@ hadoop101のJava]＃vimのは/ opt /モジュール/ cmで/ CM- 5.12。1 / lib64に/ CMF /サービス/クライアント/デプロイ- CC。SH
ファイルの最後に追加
JAVA_HOME =は/ opt /モジュール/ jdk1を。8 .0_104
輸出JAVA_HOME =は/ opt /モジュール/ jdk1。8 .0_104
3 CDHを再起動することなく）溶液2（）：
ビューは/ opt /モジュール/ CM＆LT / CM- 5.12。。1/ lib64に/ CMF /サービス/共通/ Clouderaの-config設定。SH
我々が指定する必要があるので、検索java8のホームディレクトリは、あなたは、システムのデフォルトJAVA_HOME環境変数を使用しないCDHでしょうが、BIGTOPに従って管理されては/ usr / javaのjdkを/デフォルトディレクトリにインストールします。もちろん、我々は、/ opt /モジュール/ jdk1を持っている。8 過去への接続を作成するので、.0_104下jdkのインストール
[ルート@ hadoop101〜]＃ます。mkdirは/ usr / Javaの
[ルート@ hadoop101〜]＃LN -s / OPT / Module1を/ jdk1。。8 .0_104 /は/ usr / Javaの/ デフォルトの
[hadoop102ルート@〜]＃ます。mkdirは/ usr / Javaの
[hadoop102ルート@〜]＃LN -sは/ opt / Module1を/ jdk1。。8 .0_104 /は/ usr / Javaの/ デフォルトの
[hadoop103ルート@〜]＃ます。mkdir/ usr / Javaの
[ルート@ hadoop103〜]＃のLN -sは/ opt /モジュール/ jdk1。8 .0_104 /は/ usr / Javaの/ デフォルト
3 ）ソリューション3（必要性再起動のCDH）：
、hadoop102、hadoop103 3をhadoop101見つけますマシン構成、Javaホームディレクトリの構成
コマンドラインビューコマンド
[hdfs @ hadoop101〜] $ spa
spark2 -shell spark2-submit spark-shell spark-submit spax