大数据生态圈 —— 单节点伪分布式环境搭建

本文参考

关于环境搭建,imooc上关于hadoop、hbase、spark等课程上有很多环境搭建的例子,但是有些并没有说明为什么选择这个的版本,我们知道这些开源的技术发展很快,所以有必要搞清楚如何对它们进行版本选择

环境

spark 2.2.0 + scala 2.11.8 + hbase1.3.6 + hadoop 2.6.5 + zookeeper + kafka 0.8.2.1 + flume 1.6.0,本文均为apache的安装包(更稳定的版本,可以到cloudera下载)

semantic versioning(语义版本号)

 

hadoop 2.6.5 环境搭建

下载地址:

http://archive.apache.org/dist/hadoop/core/

为什么选择hadoop2.6.5版本?

目前spark最新稳定的版本为2.4.5(也已经有了3.0.0-preview2,技术发展永远比我学的快hh),仍由hadoop 2.6 或 2.7 版本编译,spark2.2.0也是如此,可以到spark archieve下载页面验证,这里就选择hadoop 2.6 最新的补丁号 2.6.5版本

 

猜你喜欢

转载自www.cnblogs.com/kuluo/p/12586627.html