Linux下hadoop、hbase的安装

Hadoop安装步骤

hadoop下载地址：
http://mirrors.advancedhosters.com/apache/hadoop/common/

一、安装jdk以及hadoop (jdk要求1.7以上版本)

安装hadoop的用户为root

创建安装目录并解压相关文件：

mkdir /usr/local/java

mkdir /usr/local/hadoop

mkdir /usr/local/hadoop/hadoop_tmp

tar -zxvf jdk-8u201-linux-x64.tar.gz

cd jdk1.8.0_201

mv * /usr/local/java

tar -zxvf hadoop-3.0.3.tar.gz

cd hadoop-3.0.3

mv * /usr/local/hadoop/

二、配置环境变量

vi /etc/profile

最后添加以下：

export JAVA_HOME=/usr/local/java

export HADOOP_HOME=/usr/local/hadoop

export HADOOP_MAPRED_HOME=$HADOOP_HOME

export HADOOP_COMMON_HOME=$HADOOP_HOME

export HADOOP_HDFS_HOME=$HADOOP_HOME

export YARN_HOME=$HADOOP_HOME

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

export HADOOP_INSTALL=$HADOOP_HOME

export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_COMMON_LIB_NATIVE_DIR"

输出生效：

source /etc/profile

三、修改配置文件

 vi /usr/local/hadoop/etc/hadoop/hadoop-env.sh

最后添加：

export JAVA_HOME=/usr/local/java

vi /usr/local/hadoop/etc/hadoop/core-site.xml

在<configuration>和</configuration>标签之间添加：

<property>

<name>fs.default.name</name>

<value>hdfs://localhost:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/usr/local/hadoop/tmp</value>

</property>

 vi /usr/local/hadoop/etc/hadoop/hdfs-site.xml

在<configuration>和</configuration>标签之间添加：

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>dfs.http.address</name>

<value>192.168.56.123:50070</value>

</property>

注：192.168.56.123为本机IP地址，根据不同情况设定

vi /usr/local/hadoop/etc/hadoop/yarn-site.xml

在<configuration>和</configuration>标签之间添加：

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

vi /usr/local/hadoop/etc/hadoop/mapred-site.xml

在<configuration>和</configuration>标签之间添加：

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

将/usr/local/hadoop/sbin/start-dfs.sh，stop-dfs.sh两个文件顶部添加以下参数：

HDFS_DATANODE_USER=root

HDFS_DATANODE_SECURE_USER=hdfs

HDFS_NAMENODE_USER=root

HDFS_SECONDARYNAMENODE_USER=root

将/usr/local/hadoop/sbin/start-yarn.sh，stop-yarn.sh顶部添加以下参数：

YARN_RESOURCEMANAGER_USER=root

HADOOP_SECURE_DN_USER=yarn

YARN_NODEMANAGER_USER=root

四、验证hadoop

1. 设置本机ssh无密码登陆

ssh-keygen -t rsa

然后全部回车,采用默认值

cat /root/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

2. 格式化文件系统

hdfs namenode -format

3. 启动

start-dfs.sh

4. 在浏览器输入

localhost:50070

localhost:8088

五、问题解决

1、告警：WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

解决：vi /usr/local/hadoop/etc/hadoop/log4j.properties，最后添加： log4j.logger.org.apache.hadoop.util.NativeCodeLoader=ERROR

2、当主机使用ssh免密码登录时，弹出Warning:Permanently added (RSA) to the list of known hosts的警告，看着很碍眼。通过以下方法进行解决：

vim /etc/ssh/ssh_config（master和slave1都需要设置）

找到#StrictHostKeyChecking ask去掉注释，并把ask改为no即可

3、设置开机自动启动

vi /etc/rc.d/rc.local

/usr/local/hadoop/sbin/start-all.sh

Hbase安装步骤

HBase下载：
https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/

1.创建hadoop用户

useradd hadoop

mkdir /usr/local/hbase

chown hadoop:hadoop /usr/local/hbase

安装hbase的用户为hadoop

2.创建安装目录并解压文件

su - hadoop

cd /usr/local/hbase/

cp /usr/hbase-2.0.4-bin.tar.gz

tar -zxvf hbase-2.0.4-bin.tar.gz

设置环境变量

export HBASE_HOME=/usr/local/hbase

vi /usr/local/hbase/conf/hbase-env.sh

export JAVA_HOME=/usr/local/java

export HBASE_MANAGES_ZK=true

su – root

vi /etc/profile

export HBASE_HOME=/usr/local/hbase

export HBASE_CONF_DIR=$HBASE_HOME/conf

export HBASE_CLASS_PATH=$HBASE_CONF_DIR

export PATH=$PATH:$HBASE_HOME/bin

4.为HBase创建一个用于存储数据的目录，并设置在HBase配置文件中

mkdir -p /usr/local/hbase/var/hbase

vi /usr/local/hbase/conf/hbase-site.xml

<configuration>

<property>

<name>hbase.rootdir</name>

<value>file:///usr/local/hbase/var/hbase</value>

</property>

</configuration>

5.以单机模式启动HBase

cd $HBASE_HOME/bin

./start-hbase.sh

vi .bash_profile

export HBASE_HOME=/usr/local/hbase

export PATH=$HBASE_HOME/bin:$PATH

export HBASE_CLASSPATH=/usr/local/hbase/conf

6.在浏览器中输入一下网址进行验证

localhost:16010

7.登陆HBase

$ hbase shell

2017-07-20 09:33:19,959 WARN [main] util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

HBase Shell; enter 'help<RETURN>' for list of supported commands.

Type "exit<RETURN>" to leave the HBase Shell

Version 1.2.6, rUnknown, Mon May 29 02:25:32 CDT 2017

hbase(main):001:0>