hbase空间爆满,新增DataNode、RegionServer,实现数据平衡 记录。

hbase新增DataNode、RegionServer节点操作记录

由于客户现场服务器问题,新增DataNode、RegionSercer是在master所在服务器上安装

一:安装DataNode

(1):安装组件

yum install avro-libs

yum install bigtop-utils

yum install parquet-format --nodeps

yum install parquet --nodeps

yum install zookeeper

yum install hadoop

yum install bigtop-jsvc

yum install hadoop-hdfs

yum install hadoop-hdfs-datanode

(2):创建目录

mkdir -p /opt/appdata/hadoop/dn

chown -R hdfs:hdfs /opt/appdata/hadoop/dn

chmod 700 /opt/appdata/hadoop/dn

(3):创建配置文件

cp -r /etc/hadoop/conf.empty /etc/hadoop/conf.pro

alternatives --install /etc/hadoop/conf hadoop-conf /etc/hadoop/conf.pro 50

alternatives --set hadoop-conf /etc/hadoop/conf.pro

(4):配置JAVA_HOME

vi /etc/hadoop/conf/hadoop-env.sh

增加下列内容并保存:

export JAVA_HOME=/opt/founder/jdk1.8.0_65(修改成实际路径)

(5):修改配置文件

vi /etc/hadoop/conf/core-site.xml

在<configuration>节点中增加下列内容并保存:

<property>

 <name>fs.defaultFS</name>

 <value>hdfs://master:8020</value>

</property>

vi /etc/hadoop/conf/hdfs-site.xml

在<configuration>节点中增加下列内容并保存:

<property>

 <name>dfs.permissions.superusergroup</name>

 <value>hadoop</value>

</property>

<property>

 <name> dfs.datanode.data.dir</name>

 <value>file:///opt/appdata/hadoop/dn</value>

</property>

<property>

  <name> dfs.datanode.fsdataset.volume.choosing.policy</name>

  <value> org.apache.hadoop.hdfs.server.datanode.fsdataset.AvailableSpaceVolumeChoosingPolicy</value>

</property>

  (6):启动与停止DataNode

  以hadoop用户启动与停止:

  启动:sudo systemctl start hadoop-hdfs-datanode

  停止:sudo systemctl stop hadoop-hdfs-datanode

  查询状态:sudo systemctl status hadoop-hdfs-datanode

通过地址http://master的ip:50070可以查看DataNode的相关信息

二:配置HBase RegionServer服务器

(1):安装组件

yum install hbase-regionserver

(2):创建目录

mkdir -p /opt/appdata/hbase/tmp

mkdir -p /opt/appdata/hbase/staging

sudo chown -R hbase /opt/appdata/hbase

hdfs dfs -mkdir /hbase (切换为hadoop用户)

hdfs dfs -chown hbase:hbase /hbase (切换为hadoop用户)

(3):创建配置文件

cp -r /etc/hbase/conf.dist /etc/hbase/conf.pro

alternatives --install /etc/hbase/conf hbase-conf /etc/hbase/conf.pro 50

alternatives --set hbase-conf /etc/hbase/conf.pro

  (4):配置环境变量

  vi /etc/hbase/conf/hbase-env.sh

  增加下列内容并保存:

  export JAVA_HOME=/opt/founder/jdk1.8.0_65(修改为实际路径)

 (5):修改配置文件:

  vi /etc/hbase/conf/hbase-site.xml

在<configuration>节点中增加下列内容并保存:

<property>

 <name>hbase.tmp.dir</name>

 <value>/opt/appdata/hbase/tmp</value>

</property>

<property>

 <name>hbase.rootdir</name>

 <value>hdfs://master:8020/hbase</value>

</property>

<property>

  <name>hbase.fs.tmp.dir</name>

  <value>/opt/appdata/hbase/staging</value>

</property>

<property>

  <name> hbase.cluster.distributed</name>

  <value>true</value>

</property>

<property>

  <name> hbase.zookeeper.quorum</name>

  <value>master:2181</value>s

  </property>

(6):以hadoop用户启动与停止RegionServer                 

  启动:sudo systemctl start hbase-regionserver

  停止:sudo systemctl stop hbase-regionserver

  查询状态:sudo systemctl status hbase-regionserver

通过地址http://master的ip:60010可以查看RegionServer的相关信息

 

切换至hadoop用户,执行 sudo -u hdfs hdfs balancer命令,以实现数据平衡。

猜你喜欢

转载自blog.csdn.net/weixin_38384351/article/details/88692216