数学之美:各个击破算法和Google云计算的基础

云计算的一个关键性问题就是如何把一个非常大的问题,自动分解到许多计算能力不是很强大的计算机上。Google针对此问题提出一个工具MapReduce,其基础就是算法中常见的分治算法。

假设要对一个长度为N的数组进行排序,如果采用两两比较的方式(冒泡排序),复杂度为O(N2),不仅笨还慢,如果是一个非常大的数组,一台计算机也无法完成。用分治算法,将这个大数组分解成两个小数组,再分别对一半进行排序,待两个小数组排序完后,将他们从头到尾合并,得到原来数组的排序结果。小数组大小只有原数组一半,只需要比较1/4次数即可。同理还可以将小数组继续拆分,直到数组中只剩两个元素,从而大大缩小整个排序时间。由原来的O(N2)简化到O(NlogN)。这个算法在每个子任务完成后都需要合并,归并排序算法由此得名。

这就是MapReduce的基本原理,将一个大任务拆分成许多小任务,并且完成小任务的计算,这个过程叫Map;然后将小任务的计算结果合并起来,这个过程称为Reduce。如何将一个大任务拆分成小任务,保证各个机器的负载均衡,如何合并返回值就是MapReduce在工程上所做的事。

至此对数学之美书籍上的知识摘录完毕,接下来就是将自己在实际遇到的问题和所学逐渐的合并到这些文章中,使得文章内容更为具体了。这就得慢慢来。。。

猜你喜欢

转载自blog.csdn.net/qq_16234613/article/details/82839671