这个系列指南使用真实集群搭建环境，不是伪集群，用了三台腾讯云服务器
或者访问我的个人博客站点，链接
大数据架构总览
需要的安装包地址
- Hadoop:
http://www.apache.org/dyn/closer.cgi/hadoop/common - JDK:
http://www.oracle.com/technetwork/java/javase/downloads - HBase
http://mirror.bit.edu.cn/apache/hbase/ - Zookeeper
http://mirror.bit.edu.cn/apache/zookeeper/ - Hive
http://mirror.bit.edu.cn/apache/hive/ - Kafka
http://kafka.apache.org/downloads - Storm
http://storm.apache.org/downloads.html
系统前期准备
系统选用
使用centos7，64位服务器，理论上讲64位的linux发行版都是可以的。
修改hostname，添加ip映射
- vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=master不同的主机不同的名称- vim /etc/hostname,要么sudo hostname master，然后重启。
- vim /etc/cloud/templates/hosts.redhat.tmpl
例如添加一行：
172.16.xxx.xxx master
172.16.xxx.xxx slave1
172.16.xxx.xxx slave2修改完记得ping一下
不要在127.0.0.1后面添加master或者slave，否则会出现hadoop集群启动成功但是live node为0的情况。
具体原因为：设置时在127.0.0.1后面添加了hadoop01，这样hadoop在启动的时候，根据配置文件监听的时候监听的是hadoop01的9000端口，而这个hadoop01被解析成了127.0.0.1，这样hadoop01节点就不会监听192.168.116.101的9000端口，来自hadoop02和hadoop03的信息不会被hadoop01节点接收到，也就会出现hadoop02和hadoop03节点日志里面的内容，live node一直为0。
参考链接点这里
ssh免密码登录
在每一台主机上生成ssh密钥
ssh-keygen -t rsa -P ''
生成的密钥在/root/.ssh/id_rsa.pub里，将所有主机上的密钥都放在/root/.ssh/authorized_keys文件里，然后使用scp命令，将文件传输到另一个host上。scp -r /root/.ssh/authorized_keys [email protected]:/root/.ssh
最终/root/.ssh/authorized_keys文件中的内容如下图
传输完成后使用ssh互相连接，以互相建立信任连接
master节点：
ssh slave1
ssh slave2两个slave同理
检查集群主机的时间是否一致
设置后续要使用的命令的快捷命令（别名）
根据自己的版本信息设置快捷命令
这些内容是根据之后的系列指南逐步添加写成的。
#some more aliases
alias cdhadoop='cd /opt/hadoop/hadoop2.8'
alias cdhbase='cd /opt/hbase/hbase1.2'
alias cdhive='cd /opt/hive/hive1.2'
alias cdzookeeper='cd /opt/zookeeper/zookeeper3.4'
alias hadoopfirststart='/opt/hadoop/hadoop2.8/bin/hdfs namenode -format'
alias starthdfs='/opt/hadoop/hadoop2.8/sbin/start-dfs.sh'
alias startyarn='/opt/hadoop/hadoop2.8/sbin/start-yarn.sh'
alias stophdfs='/opt/hadoop/hadoop2.8/sbin/stop-dfs.sh'
alias stopyarn='/opt/hadoop/hadoop2.8/sbin/stop-yarn.sh'
alias starthbase='/opt/hbase/hbase1.2/bin/start-hbase.sh'
alias stophbase='/opt/hbase/hbase1.2/bin/stop-hbase.sh'
alias startzookeeper='/opt/zookeeper/zookeeper3.4/bin/zkServer.sh start'
alias stopzookeeper='/opt/zookeeper/zookeeper3.4/bin/zkServer.sh stop'
alias statuszookeeper='/opt/zookeeper/zookeeper3.4/bin/zkServer.sh status'样例：
别忘了source ~/.bashrc
设置环境变量
vim /etc/profile
根据自己的版本来设置，注意：下面并没有给出storm和kafka的信息，因为这两个的版本还没敲定
#Java Config
export JAVA_HOME=/opt/java/jdk1.8
export JRE_HOME=/opt/java/jdk1.8/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
# Zookeeper Config
export ZK_HOME=/opt/zookeeper/zookeeper3.4
# HBase Config
export HBASE_HOME=/opt/hbase/hbase1.2
# Hadoop Config
export HADOOP_HOME=/opt/hadoop/hadoop2.8
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
# Hive Config
export HIVE_HOME=/opt/hive/hive1.2
export HIVE_CONF_DIR=${HIVE_HOME}/conf
export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${ZK_HOME}/bin:${HBASE_HOME}/bin:${HIVE_HOME}/bin:$PATH修改完记得source /etc/profile
配置java
按照/etc/profile文件里的目录路径配置java文件，如何安装java自行百度即可。
执行java -version检查java是否成功配置以及版本是否正确。