Mise à niveau Spark améliorée
Dans le cluster CDH5.12.1, le Spark installé par défaut est la version 1.6, et il doit être mis à niveau vers la version Spark2.1 ici. Après avoir consulté la documentation officielle, on constate que Spark1.6 et 2.x peuvent être installés en parallèle, ce qui signifie que vous pouvez installer directement la version 2.x sans supprimer la version 1.6 par défaut, et les ports qu'ils utilisent sont différents.
Cloudera a publié un aperçu d'Apache Spark 2 (vous pouvez trouver la méthode d'installation et le référentiel de paquets de colis ici)
Le site officiel de Cloudera peut télécharger le package d'installation hors ligne de colis connexe:
https://www.cloudera.com/documentation/spark2/latest/topics/spark2_installing.html
Introduction de Cloudera Manager et de la version 5.12.0:
Processus de mise à niveau
1 Téléchargement de package hors ligne
1) Logiciel requis: http://archive.cloudera.com/spark2/csd/
2) Adresse de téléchargement du package Parcels: http://archive.cloudera.com/spark2/parcels/2.1.0.cloudera1/
2 Téléchargement de package hors ligne
1) Téléchargez le fichier SPARK2_ON_YARN-2.1.0.cloudera1.jar dans / opt / cloudera / csd / ci-dessous
2) Téléchargez les fichiers SPARK2-2.1.0.cloudera1-1.cdh5.7.0.p0.120904-el6.parcel et SPARK2-2.1.0.cloudera1-1.cdh5.7.0.p0.120904-el6.parcel.sha1 vers / opt / cloudera / parcel-repo /
3) Renommez SPARK2-2.1.0.cloudera1-1.cdh5.7.0.p0.120904-el6.parcel.sha1 en SPARK2-2.1.0.cloudera1-1.cdh5.7.0.p0.120904-el6.parcel .sha
[root @ hadoop101 colis repo] # mv / opt / Cloudera / colis repo / SPARK2- 2.1 . 0 .cloudera1- 1 .cdh5. 7.0 .p0. 120904 -el6.parcel.sha1 / opt / cloudera / parcel-repo / SPARK2- 2.1 . 0 .cloudera1- 1 .cdh5. 7.0 .p0. 120904 -el6.parcel.sha
[kris @ hadoop101 parcel- repo] $ ll
total 2673860
-rw-r - r-- 1 kris kris 364984320 2 juil 2019 APACHE_PHOENIX- 4.14 . 0 -cdh5. 14.2 .p0. 3 - el7.parcel
-rw-r - r-- 1 Kris 41 juillet 2 2019 APACHE_PHOENIX- 4,14 . 0 -cdh5. 14.2 .p0. 3 - el7.parcel.sha
-rw-r ----- 1 racine racine 14114 juil 2 2019 APACHE_PHOENIX- 4.14 . 0 -cdh5. 14.2 .p0. 3 - el7.parcel.torrent
-rw-r - r-- 1 cloudera-scm cloudera-scm 2108071134 27 juin 2019 CDH- 5.14 . 2 - 1 .cdh5. 14.2 .p0. 3 - el7.parcel
-rw-r - r-- 1 cloudera-scm cloudera-scm 41 27 juin 2019 CDH- 5.14 . 2 - 1 .cdh5. 14.2 .p0.3 - el7.parcel.sha
-rw-r ----- 1 cloudera-scm cloudera-scm 80586 27 juin 2019 CDH- 5.14 . 2 - 1 .cdh5. 14.2 .p0. 3 - el7.parcel.torrent
-rw-r - r-- 1 cloudera-scm cloudera-scm 72851219 29 juin 2019 KAFKA- 3.1 . 1 - 1.3 . 1.1 .p0. 2 - el7.parcel
-rw-r - r-- 1 cloudera-scm cloudera-scm 4129 juin 2019 KAFKA- 3.1 . 1 - 1.3 . 1.1 .p0. 2 - el7.parcel.sha
-rw-r ----- 1 racine racine 2940 29 juin 2019 KAFKA- 3.1 . 1 - 1.3 . 1.1 .p0. 2 - el7.parcel.torrent
-rw-r - r-- 1 cloudera-scm cloudera-scm 74062 27 juin 2019 manifest.json
-rw-r - r-- 1 cloudera-scm cloudera-scm 191904064 29 juin 2019 SPARK2- 2.3 . 0 .cloudera4- 1 .cdh5. 13.3 .p0. 611179 - el7.parcel
-rw-r - r-- 1 cloudera-scm cloudera-scm 41 5 octobre 2018 SPARK2- 2.3 . 0 .cloudera4- 1 .cdh5. 13.3 .p0. 611179 - el7.parcel.sha
-rw-r ----- 1 cloudera-scm cloudera-scm 7521 29 juin 2019 SPARK2- 2.3 .0 .cloudera4- 1 .cdh5. 13.3 .p0. 611179 - el7.parcel.torrent
[kris @ hadoop101 parcel -repo] $ pwd
/ home / kris / apps / usr / webserver / cloudera / parcel- repo
[kris @ hadoop101 csd] $ pwd
/ home / kris / apps / usr / serveur web / cloudera / csd
[kris @ hadoop101 csd] $ ll
total 28
-rw-r - r-- 1 cloudera-scm cloudera-scm 5670 22 février 2018 KAFKA- 1.2 . 0 .jar
-rw-r - r-- 1 cloudera-scm cloudera-scm 19037 oct 5 2018 SPARK2_ON_YARN- 2.3 . 0 .cloudera4.jar
[kris @ hadoop101 csd] $ ll
total 28
-rw-r - r-- 1 cloudera-scm cloudera-scm 5670 22 février 2018 KAFKA- 1.2 . 0 .jar
-rw-r - r-- 1 cloudera-scm cloudera-scm 19037 5 octobre 2018 SPARK2_ON_YARN- 2.3 . 0 .cloudera4.jar
Fonctionnement de la page
Mettre à jour le colis
Cliquez sur Colis sur la page d'accueil de cm, puis cliquez sur pour rechercher de nouveaux colis
Cliquez pour attribuer, cliquez pour activer, retournez à la page d'accueil et cliquez pour ajouter un service
S'il n'y a pas Spark2, redémarrez le serveur:
[root @ hadoop101 ~ ] # / opt / module / cm / cm- 5.12 . 1 /etc/init.d/cloudera-scm-server restart
Choisissez un ensemble de dépendances
Attribution, déploiement et lancement des rôles
Remarque: J'ai signalé une erreur ici: la configuration du client ( id = 12 ) a été quittée avec 1 , et la valeur attendue est 0
1 ) Cause du problème: La raison a finalement été trouvée car CM installé Spark n'ira pas dans la variable d'environnement pour trouver Java, besoin Ajoutez le chemin Java au fichier de configuration CM
2 ) Solution 1 (redémarrage cdh requis):
[root @ hadoop101 java] # vim / opt / module / cm / cm- 5.12 . 1 / lib64 / cmf / service / client / deploy- CC . SH
dans le fichier ajouter la finale
JAVA_HOME = / opt / module / jdk1. 8 .0_104
Export JAVA_HOME = / opt / module / jdk1. 8 .0_104
3 solution) 2 (sans avoir à redémarrer cdh):
Voir / opt / module / cm & lt / CM- 5.12 . 1./ lib64 / cmf / service / common / cloudera-config. sh
trouver le répertoire personnel de java8, vous constaterez que cdh n'utilise pas la variable d'environnement JAVA_HOME par défaut du système, mais est géré selon bigtop, nous devons donc spécifier dans / usr / java Installez jdk dans le répertoire / default. Bien sûr, nous avons dans / opt / module / jdk1. 8 installé jdk sous .0_104, créant ainsi un lien avec le passé
[root @ hadoop101 ~] # mkdir / usr / Java
[root @ hadoop101 ~] # LN -s / opt / module / jdk1. 8 .0_104 / / usr / java / default
[root @ hadoop102 ~] # mkdir / usr / java
[root @ hadoop102 ~] # ln -s / opt / module / jdk1. 8 .0_104 / / usr / java / default
[root @ hadoop103 ~] # mkdir/ usr / java
[root @ hadoop103 ~] # ln -s / opt / module / jdk1. 8 .0_104 / / usr / java / default
3 ) Solution 3 (besoin de redémarrer cdh):
trouvez trois hadoop101, hadoop102, hadoop103 Configuration de la machine, configurer le répertoire de base de Java
Commande d'affichage de la ligne de commande
[hdfs @ hadoop101 ~ ] $ spa
spark2 -shell spark2-submit spark-shell spark-submit spax