MapReduce(1)--分布式计算框架MapReduce介绍

Hadoop组成

      Hadoop  HDFS:一个高可靠、高吞吐量的分布式文件系统,对海量数据的存储。

      Hadoop  MapReduce:一个分布式的资源调度和离线并行计算框架。

      Hadoop  Yarn:基于HDFS,用于作业调度和集群资源管理的框架。

 

什么是计算框架?

          是指实现某项任务或某项工作从开始到结束的计算过程或流的结构。用于去解决或者处理某个复杂的计算问题。

                                     

分布式并行计算框架

           一个大的任务被拆分成多个小任务,每个小任务同时执行。按照执行流程进行计算。
                          

 

 

什么是分布式计算?

                    分布式计算:是一种计算方法,是将该应用分解成许多小的部分,分配给多台计算机进行处理。这样可以节约整体          计算时间,大大提高计算效率。

                                      

 

Hadoop为什么比传统技术方案快?

 

核心原因一:使用分布式存储。

核心原因二:使用分布式并行计算框架。

发布了80 篇原创文章 · 获赞 168 · 访问量 8万+

猜你喜欢

转载自blog.csdn.net/weixin_44036154/article/details/103052107