Google的三篇大数据思想论文

大数据

    1、什么是大数据

        简单说就是身边的一切，你看到的是，听到的是，闻到的感觉到的触摸到的都是

    2、具体一点

        天猫淘宝的购物数据，你的聊天记录，医疗记录，看书或者挑东西时候的推荐物品
大数据的问题

    1、生活中的种种数据数量如此之多，如何存储

    2、要让数据有意义，又该怎么去处理海量的数据
Google对大数据问题的思想

    1、GFS：Google File System

            对数据进行分布式文件系统的存储，解决的大数据的存储问题

    2、MapReduce

            最初是因为Google要去爬取全球的网页然后对其进行排名(PageRank)而衍生出的问题，一种用于大数据计算的模型，核心思想是大事化小处理，最后在合并结果，先拆分再合并

扫描二维码关注公众号，回复： 5512566 查看本文章

    3、BigTable

            采用NoSQL数据库将数据存在一张大表之中，通过牺牲存储的空间来换取性能
实现思想 -> Hadoop
    主要结构

            1、HDFS：Hadoop Distributed File System

                    1. 采用主从式的结构

                    2. 主节点: NameNode名称节点

                    3. 从节点: DataNode数据节点

                    4. SecondaryNameNode: 第二名称节点

                  这里有两张网上的图可供参考

               

     

                    需要注意的是：NameNode 和 SecondaryNameNode 之间没有关系，前者管理和维护整个HDFS，后者用来日志的合并，两者在同一个节点上(同一个机器)，共同的组成了整个HDFS的主从式结构，硬盘需要两个(两台机器)所以HDFS环境至少需要三台机器

            2、Yarn：MapReduce 的运行容器

                    Yarn 的结构，NodeMarager和DataNode在一个节点上，有一个DataNode就有一个NodeMarager

                    1. 主从式结构

                    2. 主节点: ResourceManager -> 资源管理器

                    3. 从节点: NodeManager -> 节点管理器

            3、HBase: NoSQL数据库(需要单独安装)

                    1. 主从式结构

                    2. 主节点: HMaster

                    3. 从节点: RegionServer
---------------------