《Hadoop与大数据挖掘》一1.2 大数据平台

摘要： 本节书摘来华章计算机《Hadoop与大数据挖掘》一书中的第1章 ，第1.2节，张良均　樊　哲　位文超　刘名军 许国杰　周　龙　焦正升　著 更多章节内容可以访问云栖社区“华章计算机”公众号查看。 1.2　大数据平台 大数据平台有哪些呢？ 一般认为大数据平台分为两个方面，硬件平台和软件平台。

本节书摘来华章计算机《Hadoop与大数据挖掘》一书中的第1章 ，第1.2节，张良均　樊　哲　位文超　刘名军 许国杰　周　龙　焦正升　著 更多章节内容可以访问云栖社区“华章计算机”公众号查看。

1.2　大数据平台
大数据平台有哪些呢？
一般认为大数据平台分为两个方面，硬件平台和软件平台。硬件平台一般如Open-Stack、Amazon云平台、阿里云计算等，类似这样的平台其实做的是虚拟化，即把多台机器或一台机器虚拟化成一个资源池，然后给成千上万人用，各自租用相应的资源服务等。而软件平台则是大家经常听到的，如Hadoop、MapReduce、Spark等，也可以狭义理解为Hadoop生态圈，即把多个节点资源（可以是虚拟节点资源）进行整合，作为一个集群对外提供存储和运算分析服务。
Hadoop生态圈大数据平台，可以大概分为3种：Apache Hadoop（原生开源Hadoop）、Hadoop Distribution（Hadoop发行版）、Big Data Suite（大数据开发套件）。Apache Hadoop 是原生的，即官网提供的，只包含基本的软件；Hadoop Distribution是一些软件供应商提供的，具有的功能相对多，这个版本有收费版也有免费版，用户可选；而大数据开发套件则是一些大公司提供的集成方案，提供的功能更多，但是相应的也比较贵。
Apache Hadoop是开源的，用户可以直接访问或更改代码。它是完全分布式的，配置包含用户权限、访问控制等，再加上多种生态系统软件支持，比较复杂。这里涉及版本不兼容性问题。所以该版本比较适合学习并理解底层细节或Hadoop详细配置、调优等。
Hadoop Distribution版本简化了用户的操作以及开发任务，比如可以一键部署等，而且有配套的生态圈支持以及管理监控功能，如业内广泛使用的HDP、CDH、MapR等平台。CDH是最成型的发行版本，拥有最多的部署案例，而且提供强大的部署、管理和监控工具，其开发公司Cloudera贡献了自己的可实时处理大数据的Impala项目。HDP是100%开源Apache Hadoop的唯一提供商，其开发公司 Hortonworks开发了很多增强特性并提交至核心主干，并且Hortonworks为入门者提供了一个非常好的、易于使用的沙盒。MapR为了获取更好的性能和易用性而支持本地UNIX文件系统而不是HDFS（使用非开源的组件），并且可以使用本地UNIX命令来代替Hadoop命令。除此之外，MapR还凭借诸如快照、镜像或有状态的故障恢复之类的高可用性特性来与其他竞争者相区别。当需要一个简单的学习环境时，就可以选用这个版本，当然，针对一些企业也可以选择这个版本的收费版，也是有很多软件支持的。
Big Data Suite（大数据套件）是建立在Eclipse之类的IDE之上的，其附加的插件极大地方便了大数据应用的开发。用户可以在自己熟悉的开发环境之内创建、构建并部署大数据服务，并且生成所有的代码，从而做到不用编写、调试、分析和优化MapReduce代码。大数据套件提供了图形化的工具来为你的大数据服务进行建模，所有需要的代码都是自动生成的，只需配置某些参数即可实现复杂的大数据作业。当企业用户需要不同的数据源集成、自动代码生成或大数据作业自动图形化调度时，就可以选择使用大数据套件。