Hadoop深入学习:MapReduce

        本节我们主要来学习Hadoop MapReduce分布式计算框架,它主要分为两部分: 编程模型和运行时环境
        MapReduce编程模型为用户提供了简单易用的编程接口,可以让用户像编写不同的程序一向只要实现两个简单的函数(map()和reduce()函数)便实现一个分布式的应用程序,而其他的比价麻烦的和分布式相关的所有操作都由MapReduce的运行时环境来完成,用户并不需要关系这些细节——这当然是对编写MapReduce应用程序的初学者来说的,只需要关注业务就行了。

        同HDFS一样,MapReduce也采用Master/Slaves架构,一个主节点JobTracker和许多TaskTracker节点,其中JobTracker可能会出现单端故障的问题。
        让我们来看一下MapReduce架构的示意图:

       
        下面我们来看一下MapReduce结构中涉及的几个组件:
        Client
        用户编写的MapReduce程序由Client客户端提交给JobTracker节点,同时用户还可以通过Client的一些接口来查看作业的运行状态。

        JobTracker
        JobTracker节点是MapReduce分布式计算框架中的主节点,主要负责资源的监控和作业调度。
        JobTracker通过TaskTrackers节点发送给他的“心跳”来监控所有的TaskTrackers节点和作业的健康状况,一旦发现有TaskTrackers节点失败,就会将失败节点上的任务转移到其他TaskTrackers节点节点上重新执行,并在失败节点恢复后删除未执行完成的数据。
        JobTracker节点还会跟踪任务的进度和资源的使用状况等信息,并将这些信息“告诉”任务调度器,以便调度器给空闲的TaskTrackers节点分配新任务。

        TaskTracker
         TaskTracker节点主要是执行分配给自己的任务,可能是Map Task任务也可能是Reduce Task任务,并会周期性的以“心跳(HeartBeat)”的方式降本节点上的资源使用情况和任务执行进度汇报给JobTracker节点,同时接收JobTracker返回的命令如启动新任务、杀死任务和删除数据块等。
        TaskTracker节点使用“slot”等量的2划分该节点地上的资源量,slot代表CPU、内存等计算资源。一个Task只有获得一定量的slot之后才有机会允许,而Hadoop的调度器就是给空闲的TaskTracker分配slot这个活儿的。
        slot分为Map slot和Reduce slot两种,分别对应Map Task的计算资源和Reduce Task的计算资源,分别供两者使用,不能弄混。
        TaskTracker通过可配置的slot数目来控制Task的并发度。

        Task
        Task分为两种,即Map Task和Reduce Task,二者均由TaskTracker启动。
        在学习HDFS的时候,我们知道,HDFS以block为基本的存储单位来存储数据,而对MapReduce而言,其处理单位为split,一个split对应着一个mapper程序(鄙人之前一直认为一个HDFS的block数据块儿对应一个mapper程序)。
        split只是一个逻辑概念,他只包含一些元数据信息,比如数据起始位置、数据长度和数据所在的节点等信息,split的多少决定了Map Task地数目,即一个split对应这一个Map Task。
        那么HDFS的block和MapReduce的split之间到底有着什么样的关系呢?我们来看一下下图就知道二者有什么养的对应关系了:

猜你喜欢

转载自flyingdutchman.iteye.com/blog/1876147