大数据时代的到来，带给我们的不仅仅是生活上的巨大改观，还有技术上的不断革新，抓住大数据行业的机遇，零基础学习大数据，未来的前途将不可估量。 大数据学习QQ裙：1994加上27210
我们应该都知道，大数据主要的问题就是大数据的存储与计算问题。作为能够对大量数据进行分布式处理的软件框架——hadoop目前已经发展成为分析大数据的领先平台，它能够以一种可靠、高效、可伸缩的方式进行数据处理。
Hadoop生态圈的形成
在起头阶段Hadoop只包含两个组件，分袂是HDFS(Hadoop Distributed FileSystem)和MapReduce。HDFS的设计本质是为处理大量数据分袂存储于成百上千台机械上的问题，让客户看到的是一个文件体系而非良多文件体系，屏障复杂的底层挪用。
而这些数据若是都放在一台机械上措置，必定会导致恐惧的等待时辰。于是，客户选择使用良多台机械措置数据。
MapReduce计较模子虽然能用于良多模子，但还过于简单粗暴，好用但粗笨。为体味决MapReduce这一缺陷，引入Tez和Spark使Map/Reduce模子更通用，让Map和Reduce之间的鸿沟更恍惚，数据交流更矫捷，更少的磁盘读写以更便当描述复杂算法，获得更高吞吐量。
处理完计较机能问题，就要往服从方面做全力，降低使用门槛。MapReduce的轨范写起来很是费事，用更高层、更笼统的说话层来描述算法和数据措置流程可以有效降低使用门槛，进步工作服从。