大数据--论文读后感

  读了有关Goodle的File-System、MapReduce和Bigtable的论文。

  其中File-System中的GFS是一个面向大规模数据密集型应用的、可伸缩的分布式文件系统,它不仅满足了人们对内存的需求,而且该系统还将文件管理得有序不乱,该系统在现在的电脑中应用范围广泛,它也有许多的优点。其中GFS将整个系统的节点分为三类角色:客户端、主服务器和数据块服务器。它的特点也十分具有特色,如:1.GFS实现了数据流和控制流的分离;2.采用中心服务器模式;3.无论是客户端还是chunk服务器都不需要缓存文件数据。

  仅它的特点在当时的时代里就十分出色,也影响了现在文件系统的走向,谷歌的这一发明不仅便捷了人们的工作,而且还简化了人们的工作,使文件中的数据不易混乱且对于数据的控制也井然有序,完全将数据流和控制流分离开,使系统更快速的、更有效的控制储存在文件中的数据,同时也为当今的大数据时代奠定了基础。该系统通过建立一个master,使它的权限大于其他的chunk sever,让master来管理电脑中的每一个chunk sever方便进行负载均衡,且不存在元数据的一致性问题,使系统在运行时减少了一定量的复杂过程。然后文件操作大部分是流式读写,不存在大量的重复读写,这样大大减少了繁杂的一部分程序;其GDS只需要少量和master的节点的通信就可以获取chunk的位置信息,之后就可以进行多次读写操作,选用较大的chunk尺寸减少了master节点需要保存的云数据的数量,这就允许我们把云数据存储在内存中,不易丢失。其中GDS中还有一致性模型,该模型使一台电脑上的同一份数据不因为复制多次而发生改变,只改变其中的字数多少,保证了分布式文件的高可用性。这使得这种数据写入方式的性能更高,而且也能提高更强的一致性语义。

  Goodle的File-System实用性非常高,它的诞生就是一个新时代的开始,希望在未来会有更大的超越。

猜你喜欢

转载自www.cnblogs.com/0rr0/p/10033186.html
今日推荐