Configuration de l'installation de la pseudo distribution Hbase

Configuration de l'installation de Hbase

Prérequis pour l'installation de Hbase

• JDK
• Hadoop (Hadoop est fourni avec zookeeper, aucun téléchargement supplémentaire n'est donc nécessaire)

Télécharger le package compressé Hbase

HbaseTélécharger

Compatibilité des versions logicielles

Hadoop et Hbase

Pour la relation de correspondance entre Hadoop et Hbase , vous pouvez consulter la documentation officielle de Hbase et rechercher « Hadoop version support matrix » : http://hbase.apache.org/book.html#basic.prerequisites

La correspondance entre les versions HBase et Hadoop est la suivante :

Vérifiez que votre version de hadoop est 2.10.2

Les versions de la série 2.3.x de Hbase en version

Hbase et JDK

La relation correspondante entre HBase et la version JDK est la suivante :

Installation du logiciel

emplacement du logiciel

/usr/loca/hbase

Créer des dossiers de sauvegarde de données et de sauvegarde de journaux

hbase_dataLe répertoire utilisé pour enregistrer les données générées par hbase

hbase_logRépertoire de journaux pour l'enregistrement des opérations hbase

zookeeper_dataLe répertoire utilisé pour enregistrer les données générées par zookeeper

Modifier le fichier de configuration

modifier hbase-site.xmlle fichier

Dans les projets Apache tels que Hadoop et HBase, il existe généralement des fichiers de configuration par défaut, tels que hadoop-default.xmlou hbase-default.xml. Ces fichiers de configuration par défaut contiennent les paramètres par défaut du projet.

Lors du déploiement de ces projets, afin d'éviter de modifier directement le fichier de configuration par défaut, nous créons généralement un <软件名>-site.xmlnouveau fichier de configuration nommé hadoop-site.xmlou hbase-site.xml. Le suffixe "site" indique que ces configurations sont spécifiques à votre environnement de déploiement. Ainsi, lorsque le projet est mis à jour, vous pouvez conserver vos paramètres spécifiques au déploiement sans vous soucier d'entrer en conflit avec les paramètres par défaut. Les paramètres de ces fichiers de configuration "site" remplacent les paramètres correspondants du fichier de configuration par défaut.

  <property>
    <name>hbase.cluster.distributed</name> <!--是否是分布式配置-->
    <value>true</value>
  </property>

  <property>
    <name>hbase.tmp.dir</name> <!-- 缓存文件的保存目录 -->
    <value>./tmp</value>
  </property>

  <property>
    <name>hbase.unsafe.stream.capability.enforce</name> <!-- 不用管 -->
    <value>false</value>
  </property>

  <property>
    <name>hbase.rootdir</name>
    <value>file:///usr/local/hbase/hbase-2.3.1/hbase_data</value> <!-- hbase的data保存目录,需要手动创建 -->
  </property>

  <property>
    <name>hbase.zookeeper.quorum</name> <!-- 表示使用hbase自带的zookeeper -->
    <value>localhost</value>
  </property>

  <property>
    <name>hbase.zookeeper.property.clientPort</name> <!-- zookeeper的端口号 -->
    <value>2181</value>
  </property>

  <property>
    <name>hbase.zookeeper.property.dataDir</name> <!-- zookeeper的data保存目录 -->
    <value>/usr/local/hbase/hbase-2.3.1/zookeeper_data</value>
  </property>

modifier hbase-env.shle fichier

Ajoutez vos propres variables Java et Hadoop

Et la variable de répertoire de sauvegarde du journal

export JAVA_HOME=/usr/local/Java/jdk1.8.0_361
export HADOOP_HOME=/usr/local/hadoop
export HBASE_MANAGES_ZK=false
export HBASE_LOG_DIR=/usr/local/hbase/hbase-2.3.1/hbase_log

Modifier le fichier ~/.bashrc

Ajouter des variables d'environnement hbase

Permet l'utilisation globale des commandes dans bin

#hbase
export HBASE_HOME=/usr/local/hbase/hbase-2.3.1
export PATH=$PATH:$HBASE_HOME/bin

Démarrer hbase et vérifier

start-hbase.shCommencez par

Utilisez jpspour vérifier, s'il y a hbase lié HRegionServeret HMasterprogrès, cela signifie que le démarrage est réussi

Problème d'autorisationAutorisation refusée

Modifier les utilisateurs et les groupes d'utilisateurs

Remplacer l'utilisateur et le groupe d'utilisateurs du répertoire cible par l'utilisateur actuel

sudo chown -R yourUserName:yourUserName <floderName>

Modifier les permissions du répertoire cible

Généralement, une erreur se produit car l'utilisateur actuel n'a pas d'autorisations d'écriture sur le dossier cible

Vous devez donc ouvrir l'autorisation d'écriture du répertoire à l'utilisateur actuel

chmod -R 755 folder: Cette commande est utilisée pour modifier les permissions du dossier spécifié (et de ses sous-dossiers et fichiers).

Les autorisations sont représentées par trois chiffres et chaque nombre représente les autorisations du propriétaire du fichier , du groupe auquel appartient le fichier et des autres utilisateurs .

Par exemple 755:

• Propriétaire (le premier chiffre, qui est 7) ​​: a les autorisations de lecture, d'écriture et d'exécution (7 = 4 + 2 + 1, où 4 signifie l' autorisation de lecture, 2 signifie l'autorisation d'écriture et 1 signifie l'autorisation d'exécution )
• Groupe d'utilisateurs (le deuxième numéro, qui est 5) : a des autorisations de lecture et d'exécution (5 = 4 + 1)
• Autres utilisateurs (troisième nombre, qui est 5) : ont des autorisations de lecture et d'exécution (5 = 4 + 1)

Par conséquent, dans le groupe d'utilisateurs qui détermine que l'utilisateur actuel se trouve dans le répertoire ou le fichier cible , vous pouvez utiliser la commande suivante pour modifier les autorisations

sudo chown -R 775 <floderName>

SLF4J问题 : le chemin de classe contient plusieurs liaisons SLF4J.

Plusieurs problèmes de liaison avec SLF4J :

Ce problème est causé par plusieurs liaisons SLF4J trouvées dans le classpath . Bien que ce problème n'entraîne pas directement l'échec du démarrage de HBase, il est recommandé de le résoudre pour éviter les problèmes potentiels.

Pour résoudre ce problème, supprimez l'une des liaisons du catalogue Hadoop ou HBase .lib

Les fichiers lib/client-facing-thirdpartysous le répertoire HBase peuvent être supprimés . slf4j-log4j12-1.7.30.jarDe cette façon, SLF4J n'utilisera que les liaisons de Hadoop slf4j-reload4j-1.7.36.jar.

Combinaison d'applications Hbase

Base + Redis

Hbase + solr

Créer des portraits d'utilisateurs

documents de référence

Relation de compatibilité des versions Hadoop, Hbase, Hive et zookeeper

Déployez la dernière version du cluster pseudo-distribué zookeeper sur linux

Installation et démarrage en mode pseudo-distribué de HBase

Tutoriel sur le cluster HBase