Trilogie de déploiement CDH5, deuxième partie: déploiement et configuration

Cet article est la deuxième partie de "CDH5 Deployment Trilogy", le dernier "CDH5 Deployment Trilogy: Preparation" fera les réglages nécessaires pour toutes les machines du cluster, et aujourd'hui nous terminerons le déploiement, le démarrage et la configuration de CDH Attendre l'opération

Lien vers l'article de la série

1. "CDH5 Deployment Trilogy One: Préparation"
2. "Trilogie de déploiement CDH5, deuxième partie: déploiement et configuration"
3. "Trilogie de déploiement CDH5, troisième partie: Résumé du problème"

Paramètres sur la machine principale

Connectez-vous à la machine principale via SSH et effectuez les opérations suivantes:

1. Installez mariadb:

yum install mariadb-server

2. Démarrez le service mariadb et configurez-le pour qu'il démarre au démarrage:

systemctl start mariadb && systemctl enable mariadb

3. Initialisez la configuration de la base de données:

mysql_secure_installation

4. Suivez les invites de la console pour configurer, principalement pour définir le mot de passe du compte root et autoriser le compte root à se connecter à distance;
5. Connectez-vous à mariadb:

mysql -u root -p123456

6. Ouvrez toutes les autorisations pour le fonctionnement à distance de root et actualisez:

GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;	
flush privileges;

7. Créez un dossier d'entrepôt local de colis et définissez le propriétaire et le groupe:

mkdir -p /opt/cloudera/parcel-repo
chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

8. Mettez les trois fichiers téléchargés ci-dessus dans le répertoire / opt / cloudera / parcel-repo , les trois fichiers sont: CDH-5.7.6-1.cdh5.7.6.p0.6-el7.parcel , manifest.json , CDH-5.7.6-1.cdh5.7.6.p0.6-el7.parcel.sha1
9. Le / opt / Cloudera / colis repo répertoire CCQ-5.7.6-1.cdh5.7.6.p0.6-el7.parcel.sha1 fichier renommé CCQ-5.7.6-1.cdh5.7.6.p0. 6-el7.parcel.sha (ie: changez le suffixe de sha1 en sha)
10. Ensuite, initialisez les données CM et connectez-vous à mariadb:

mysql -u root -p123456

11. Accordez des autorisations au compte temporaire et actualisez:

create user 'temp'@'%' identified by 'temp';
grant all on *.* to 'temp'@'%' identified by 'temp' with grant option;
flush privileges;

12. Quittez l'interaction mariadb;
13. Entrez dans le répertoire /opt/cloudera-manager/cm-5.7.2/share/cmf/schema/ :

cd /opt/cloudera-manager/cm-5.7.2/share/cmf/schema/

14. Exécutez la commande suivante pour initialiser les données CM:

./scm_prepare_database.sh mysql temp -h master -utemp -ptemp --scm-host master scm scm scm

15. Succès de l'opération rapide:
    
    à ce stade, le maître est configuré, puis configurez travailleur1 et travailleur2

Paramètres sur la machine worker1 (worker2 est également défini de cette façon)

1. Créez un dossier de cache de colis local:

mkdir -p /opt/cloudera/parcels

2. Donnez des autorisations au dossier:

chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

Worker1 et worker2 définissent les paramètres ci-dessus, puis vous pouvez démarrer CDH.

Démarrez le serveur (machine maître)

1. Connexion SSH au maître;
2. Entrez le répertoire où se trouve la commande de démarrage:

cd /opt/cloudera-manager/cm-5.7.2/etc/init.d/

3. Démarrez le serveur:

./cloudera-scm-server start

4. Le message d'invite pour un démarrage réussi est le suivant:

Démarrez l'agent (machines worker1 et worker2)

1. SSH dans worker1;
2. Entrez le répertoire où se trouve la commande de démarrage:

cd /opt/cloudera-manager/cm-5.7.2/etc/init.d/

3. Démarrez l'agent:

./cloudera-scm-agent start

4. Le message d'invite pour un démarrage réussi est le suivant:
   
5. Connectez-vous ensuite à worker2 et répétez les opérations ci-dessus;

À ce stade, le déploiement et le démarrage de CDH sont terminés et vous pouvez commencer la configuration;

Configurer CDH

1. Adresse d'accès au navigateur: http://192.168.133.154:7180 , vous serez invité à vous connecter, le compte et le mot de passe sont admin :
   
2. La page suivante est les termes de la licence. Après avoir accepté, vous entrerez dans la page de sélection de la version. J'ai choisi la version d'essai ici, comme indiqué ci-dessous:
   
3. Plusieurs services sont sur le point d'être déployés:
   
4. Accédez à la page de sélection de la machine, comme indiqué dans la zone rouge ci-dessous, vérifiez à la fois travailleur1 et travailleur2:
   
5. Les paramètres de colis sont les suivants:
   
6. Étant donné que le fichier de colis a été téléchargé sur la machine principale auparavant, la progression du téléchargement du package d'installation est de 100% au début, et attendez patiemment les étapes suivantes de distribution, décompression, activation, etc.
   
7. L'installation du cluster est terminée, comme indiqué dans la figure suivante, vous pouvez optimiser en fonction des invites:
   
8. Déployer des services, ici j'ai sélectionné tous les services:
   
9. Sur la page de définition de rôle, pour distribuer des services sans hôte sur une certaine machine, j'ai sélectionné worker1 ici:
   
10. La page des paramètres de la base de données, car seul mysql est installé sur le maître, tout ce que je remplis ici est le maître:
    
11. Page de configuration détaillée, veuillez définir en fonction de la situation réelle:
    
12. Démarrez les différents services et attendez la fin:
    
13. Une fois que tous les services sont normaux, la page d'état est la suivante:
    

À ce stade, le déploiement et le démarrage de CDH5 sont terminés, mais le processus de démarrage réel n'est pas fluide et les services tels que HDFS et Hive peuvent ne pas démarrer. L'article suivant répertorie ces problèmes et solutions;

Bienvenue à prêter attention à mon numéro public: le programmeur Xinchen