hadoop 大数据平台搭建（zookeeper、hadoop、hive和HBASE）

1 基本环境与zookeeper 安装

本次集群搭建共有三个节点，包括一个主节点 master，和两个从节点 slave1和 slave2。具体操作如下：

1.1 修改主机名（三台机器均执行）

下载相关工具

yum install -y net-tools

1.2 配置host 文件（三台机器）

1.3 关闭防火墙

关闭防火墙：systemctl stop firewalld
查看状态：systemctl status firewalld

1.4 NTP时间同步

yum install –y ntp
vi /etc/ntp.conf
server 127.127.1.0
fudge 127.127.1.0 stratum 10

重启 ntp 服务。

[root@master ~]# systemctl restart ntpd
ntpdate master

1.5 配置ssh 免密

（1） 每个结点分别产生公私密钥：

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa（三台机器）

秘钥产生目录在用户主目录下的.ssh 目录中，进入相应目录查看：

cd .ssh/

（ 2 ）将公钥文件复制成authorized_keys 文件：（仅 master）

cat id_dsa.pub >> authorized_keys

（3）分发authorized_keys至其他节点

scp authorized_keys slave1:/root/.ssh/
scp authorized_keys slave2:/root/.ssh/

1.6 安装JDK（三台机器）

（1）首先建立工作路径/usr/java。

mkdir -p /usr/java
tar -zxvf /opt/jdk-8u171-linux-x64.tar.gz -C /usr/java/

（2）修改环境变量

修改环境变量：vi /etc/profile
添加内容如下：
export JAVA_HOME=/usr/java/jdk1.8.0_171
export CLASSPATH=$JAVA_HOME/lib/
export PATH=$PATH:$JAVA_HOME/bin
export PATH JAVA_HOME CLASSPATH
生效环境变量：source /etc/profile
查看 java 版本：java -version
在 master 中将 JDK 复制到 slave中（要保证 slave中已有相应目录）。使用SCP

2. 安装zookeeper

（1）修改主机名称到 IP 地址映射配置。

vi /etc/hosts
192.168.15.104 master master.root
192.168.15.127 slave1 slave1.root
192.168.15.124 slave2 slave2.root

（2）修改 ZooKeeper 配置文件。在其中 master 机器上，用 tar -zxvf 命令解压缩 zookeeper-3.4.10.tar.gz。

创建工作目录：mkdir -p /usr/zookeeper
解压：tar -zxvf /opt/zookeeper-3.4.10.tar.gz -C /usr/zookeeper/

（3）配置文件 conf/zoo.cfg

用 cd 命令进入 zookeeper-3.4.10/conf 目录下，将 zoo_sample.cfg 文件拷贝一份，命名为为“zoo.cfg”。
cp zoo_sample.cfg zoo.cfg
Zoo.cfg 文件配置
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/usr/zookeeper/zookeeper-3.4.10/zkdata
clientPort=2181
dataLogDir=/usr/zookeeper/zookeeper-3.4.10/zkdatalog
server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888

（4）在 zookeeper 的目录中，创建 zkdata 和 zkdatalog 两个文件夹。zkdatalog 文件夹，是为了指定 zookeeper 产生日志指定相应的路径。

mkdir zkdata
mkdir zkdatalog

（5）进入 zkdata 文件夹，创建文件 myid。

[root@master ~]# cat /usr/zookeeper/zookeeper-3.4.10/zkdata/myid 
1

（6）远程复制分发安装文件

scp -r /usr/zookeeper slave1:/usr/
scp -r /usr/zookeeper slave2:/usr/

（7）设置 myid。在我们配置的 dataDir 指定的目录下面，创建一个 myid文件，里面内容为一个数字，用来标识当前主机，conf/zoo.cfg 文件中配置server.X 中 X 为什么数字，则 myid 文件中就输入这个数字。slave1 中为 2；slave2 中为 3。

（8）配置环境变量并启动 ZooKeeper。在每台机器上操作如下：

vi /etc/profile
export ZOOKEEPER_HOME=/usr/zookeeper/zookeeper-3.4.10
PATH=$PATH:$ZOOKEEPER_HOME/bin
生效：source /etc/profile

（9）启动 ZooKeeper 集群

在 ZooKeeper 集群的每个结点上，执行启动 ZooKeeper 服务的脚本，如下所示：
bin/zkServer.sh start
bin/zkServer.sh status

3. 安装hadoop

（1）创建对应工作目录/usr/hadoop：

解压 hadoop 到相应目录：
Vi /etc/profile
export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3
export CLASSPATH=$CLASSPATH:$HADOOP_HOME/lib
export PATH=$PATH:$HADOOP_HOME/bin
使用以下命令使 profile 生效：
source /etc/profile

（2）编辑/usr/hadoop/hadoop-2.7.3/etc/hadoop/hadoop-env.sh

输入内容：export JAVA_HOME=/usr/java/jdk1.8.0_171

（3）编辑/usr/hadoop/hadoop-2.7.3/etc/hadoop/core-site.xml

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name> 
<value>/usr/hadoop/hadoop-2.7.3/hdfs/tmp</value> 
<description>A base for other temporary directories.</description> 
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<property>
<name>fs.checkpoint.period</name>
<value>60</value>
</property>
<property>
<name>fs.checkpoint.size</name>
<value>67108864</value>
</property>
</configuration>

（4）编辑/usr/hadoop/hadoop-2.7.3/etc/hadoop/yarn-site.xml

<property>
<name>yarn.resourcemanager.address</name>
<value>master:18040</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:18030</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:18088</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:18025</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:18141</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>

（5）编写 slavs 文件/usr/hadoop/hadoop-2.7.3/etc/hadoop/slaves

[root@master ~]# cat /usr/hadoop/hadoop-2.7.3/etc/hadoop/slaves 
slave1
slave2

（6）编写master 文件/usr/hadoop/hadoop-2.7.3/etc/hadoop/master

[root@master ~]# cat /usr/hadoop/hadoop-2.7.3/etc/hadoop/master 
Master

（7）编写/usr/hadoop/hadoop-2.7.3/etc/hadoop/hdfs-site.xml

<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/hadoop/hadoop-2.7.3/hdfs/name</value>
<final>true</final>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/hadoop/hadoop-2.7.3/hdfs/data</value>
<final>true</final>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:9001</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>

（8）/usr/hadoop/hadoop-2.7.3/etc/hadoop/mapred-site.xml

首先将模板文件复制为 xml 文件，对其进行编辑：
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

（9）分发 hadoop：

scp -r /usr/hadoop slave1:/usr/
scp -r /usr/hadoop slave2:/usr/

注意：slave 节点上还需要配置环境变量，（分发profile）

（10）master 中格式化 hadoop

hadoop namenode -format

（11）启动hadoop集群：

[root@master ~]# /usr/hadoop/hadoop-2.7.3/sbin/start-all.sh

访问主节点 master：50070（50070 是 hdfs 的 web 管理页面）

4.HBASE 安装

（1）同样先建立工作路径/usr/hbase,将/opt/soft 下的 hbase 解压到工作路径中。

解压：tar -zxvf /opt/hbase-1.2.4-bin.tar.gz -C /usr/hbase

（2）修改配置文件：/usr/hbase/hbase-1.2.4/conf/hbase-env.sh

export HBASE_MANAGES_ZK=false
export JAVA_HOME=/usr/java/jdk1.8.0_171
export HBASE_CLASSPATH=/usr/hadoop/hadoop-2.7.3/etc/hadoop

解释：一个分布式运行的 Hbase 依赖一个 zookeeper 集群。所有的节点和客户端都必须能够访问 zookeeper。默认的情况下 Hbase 会管理一个 zookeep 集群，即 Hbase 默认自带一个 zookeep 集群。这个集群会随着 Hbase 的启动而启动。而在实际的商业项目中通常自己管理一个 zookeeper 集群更便于优化配置提高集群工作效率，但需要配置 Hbase。需要修改 conf/hbase-env.sh 里面的HBASE_MANAGES_ZK 来切换。这个值默认是 true 的，作用是让 Hbase 启动的时候同时也启动 zookeeper。我们采用独立运行 zookeeper 集群的方式，故将其属性值改为 false。

（3）配置 /usr/hbase/hbase-1.2.4/conf/hbase-site.xml

<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://master:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.master</name>
<value>hdfs://master:6000</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>master,slave1,slave2</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/usr/zookeeper/zookeeper-3.4.10</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
</configuration>

解释：要想运行完全分布式模式，加一个属性 hbase.cluster.distributed设置为 true 然后把 hbase.rootdir 设置为 HDFS 的 NameNode 的位置

（4）配置 conf/regionservers

[root@master ~]# cat /usr/hbase/hbase-1.2.4/conf/regionservers 
slave1
slave2

（5）hadoop 配置文件拷入 hbase 的 conf 目录下：

cp /usr/hadoop/hadoop-2.7.3/etc/hadoop/hdfs-site.xml /usr/hbase/hbase-1.2.4/conf/
cp /usr/hadoop/hadoop-2.7.3/etc/hadoop/core-site.xml /usr/hbase/hbase-1.2.4/conf/

（6）分发 hbase

scp -r /usr/hbase slave1:/usr/
scp -r /usr/hbase slave2:/usr/

（7）配置环境变量

vi /etc/profile
export HBASE_HOME=/usr/hbase/hbase-1.2.4
export PATH=$PATH:$HBASE_HOME/bin
source /etc/profile

（8）运行和测试

在 master 上执行(保证 hadoop 和 zookeeper 已开启)：
bin/start-hbase.sh

（9）访问 master 的 hbase web 界面

http://master IP:16010/master-status

（10）进 hbase 交互界面, 查看状态与版本

hbase shell

5. 构建数据仓库

• master 作为 client 客户端
• slave1 作为 hive server 服务器端
• slave2 安装 mysql server

5.1 slave2 上安装mysql server

（1）安装 EPEL 源（下载源仅做参考）

yum -y install epel-release

（2）安装 MySQL server 包，下载源安装包：

wget http://dev.mysql.com/get/mysql57-community-release-el7-8.noarch.rpm

没有wget先装wget

（3）安装源：rpm -ivh mysql57-community-release-el7-8.noarch.rpm

查看是否有包：cd /etc/yum.repos.d
mysql-community.repo
mysql-community-source.repo
安装 MySQL：yum -y install mysql-community-server

（4）启动服务

重载所有修改过的配置文件：systemctl daemon-reload
开启服务：systemctl start mysqld
开机自启：systemctl enable mysqld

（5）安装完毕后，/var/log/mysqld.log 文件中会自动生成一个随机的密码，我们需要先取得这个随机密码，以用于登录 MySQL 服务端：

获取初密码：grep “password” /var/log/mysqld.log
登陆 MySQL：mysql -uroot -p

（6）MySQL 密码安全策略：

设置密码强度为低级：set global validate_password_policy=0;
设置密码长度：set global validate_password_length=4;
修改本地密码：alter user 'root'@'localhost' identified by '123456';
密码强度分级如下：
0 为 low 级别，只检查长度；
1 为 medium 级别（默认），符合长度为 8，且必须含有数字，大小写，特殊字符；
2 为 strong 级别，密码难度更大一些，需要包括字典文件。
密码长度最低长为 4，当设置长度为 1、2、3 时，其长度依然为 4。

（7）设置远程登录

以新密码登陆 MySQL：mysql -uroot -p123456
创建用户：create user 'root'@'%' identified by '123456';
允许远程连接：grant all privileges on *.* to 'root'@'%' with grant option;
刷新权限：flush privileges;

5.2 Slave1 上安装hive

（1）首先我们需要创建工作路径，并将 hive 解压。环境中 master 作为客户端，slave1 作为服务器端，因此都需要使用到 hive。因为 hive 相关安装包存放在 master 中，因此我们先在 master 中对 hive 进行解压，然后将其复制到slave1 中。

master 中操作如下：
mkdir -p /usr/hive
tar -zxvf /opt/apache-hive-2.1.1-bin.tar.gz -C /usr/hive/
scp -r /usr/hive slave1:/usr/

（2）修改/etc/profile 文件设置 hive 环境变量。（master 和 slave1 都执行）

vi /etc/profile
export HIVE_HOME=/usr/hive/apache-hive-2.1.1-bin
export PATH=$PATH:$HIVE_HOME/bin
source /etc/profile

（3）因为服务端需要和 Mysql 通信，所以服务端需要 Mysql 的 lib 安装包到 Hive_Home/conf 目录下。

注意：mysql.jar 放在 slave2 中的/lib 目录下，需要将其远程复制到 slave1的 hive 的 lib 中。
scp /usr/mysql-connector-java-5.1.5-bin.jar slave1:/usr/hive/apache-hive-2.1.1-bin/lib

（4）回到 slave1，修改/usr/hive/apache-hive-2.1.1-bin/conf/hive-env.sh中 HADOOP_HOME 环境变量。

HADOOP_HOME=/usr/hadoop/hadoop-2.7.3

（5）修改/usr/hive/apache-hive-2.1.1-bin/conf/hive-site.xml 文件

<configuration>
<!-- Hive 产生的元数据存放位置-->
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive_remote/warehouse</value>
</property>
<!-- 数据库连接 JDBC 的 URL 地址-->
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://slave2:3306/hive?createDatabaseIfNotExist=true</value>
</property>
<!-- 数据库连接 driver，即 MySQL 驱动-->
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<!-- MySQL 数据库用户名-->
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<!-- MySQL 数据库密码-->
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
</property>
<property>
<name>hive.metastore.schema.verification</name>
<value>false</value>
</property>
<property>
<name>datanucleus.schema.autoCreateAll</name>
<value>true</value>
</property>
</configuration>

5.3Master 作为客户端

（1）解决版本冲突和 jar 包依赖问题。由于客户端需要和 Hadoop 通信，所以需要更改 Hadoop 中 jline 的版本。即保留一个高版本的 jline jar 包，从 hive 的 lib 包中拷贝到 Hadoop 中 lib 位置为/usr/hadoop/hadoop-2.7.3/share/hadoop/yarn/lib。

cp /usr/hive/apache-hive-2.1.1-bin/lib/jline-2.12.jar /usr/hadoop/hadoop-2.7.3/share/hadoop/yarn/lib/

（2）修改/usr/hive/apache-hive-2.1.1-bin/conf/hive-env.sh中 HADOOP_HOME 环境变量。

HADOOP_HOME=/usr/hadoop/hadoop-2.7.3

（3）修改/usr/hive/apache-hive-2.1.1-bin/conf/ hive-site.xml

<configuration>
<!-- Hive 产生的元数据存放位置-->
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive_remote/warehouse</value>
</property>
<!--- 使用本地服务连接 Hive,默认为 true-->
<property>
<name>hive.metastore.local</name>
<value>false</value>
</property>
<!-- 连接服务器-->
<property>
<name>hive.metastore.uris</name>
<value>thrift://slave1:9083</value>
</property>
</configuration>

5.4 成功启动Hive

（1）启动 hive server（slave1 上）

hive --service  metastore

（2）启动 hive client(master 上)

hive