云计算入门

关于云计算, 一直认为特别高大上,说实话,这几天看了Google的三大论文,更觉这些人真的很牛。想想如果自己学的很好,以后就可以愉快的装逼了,哈哈哈哈~~
  好吧,其实我不是这样的人,最近要考试,忙着复习,下午还要去上海,原谅我没那么多时间慢慢写了。进入正题:
今天先说下GFS吧,也就是Google文件系统,试想一下,一个庞大的文件系统,每天要查找、写入、修改等等操作,还要面临组件失效,网络延迟等一系列的麻烦,一个好的思路是多么重要啊。
每个GFS集群,都包含一个Master节点,多台Chunk服务器,而且伴随着多个客户端访问,这算是它的整体架构吧。(老实说,还不了解架构是什么鬼,可以理解成整体框架,或者结构吧啊啊啊啊。只是用架构显得高大上)。整体思路就是客户端把文件名和它转成的chunk索引发给master节点,master节点将寻找到的相应的chunk标识和副本的位置发给客户端,这样客户端就可以找到需要的chunk信息了。后面就是客户端和它的通信,这样减少了master的负载。Master只需要周期性的扫描自己保存的chunk状态信息,及时清理chunk垃圾。
在修改文件时,选用对文件追加,也就是说,不是一般意义上的增删修改文件,而是将修改等命令写在文件尾部,“尽量采用数据追加方式,而不是覆盖方式”程序运行一遍,就可以得到最新的信息。另外,checkpoint可以记录成功写入的数据,也对过程进行了压缩,使程序更高效的运行。
还有master服务器与客户端,chunk服务器之间的交互,主chunk的选择运用,长了很多知识呢,人类的智慧是无穷的,开启云学习模式!考完试详谈

猜你喜欢

转载自2944150371.iteye.com/blog/2217248