Hadoop分布式文件系统之HDFS

在这里插入图片描述

. 介绍在现代的企业环境中,单机容量往往无法存储大量数据,需要跨机器存储。统一管理分布在集群上的文件系统称为分布式文件系统。而一旦在系统中,引入网络,就不可避免地引入了所有网络编程的复杂性,例如挑战之一是如果保证在节点不可用的时候数据不丢失。传统的网络文件系统(NFS)虽然也称为分布式文件系统,但是其存在一些限制。由于NFS中,文件是存储在单机上,因此无法提供可靠性保证,当很多客户端同时访问NFS Server时,很容易造成服务器压力,造成性能瓶颈。另外如果要对NFS中的文件中进行操作,需要首先同步到本地,这些修改在同步到服务端之前,其他客户端是不可见的。某种程度上,NFS不是一种典型的分布式系统,虽然它的文件的确放在远端(单一)的服务器上面。从NFS的协议栈可以看到,它事实上是一种VFS(操作系统对文件的一种抽象)实现。HDFS,是Hadoop Distributed File System的简称,是Hadoop抽象文件系统的一种实现。Hadoop抽象文件系统可以与本地系统、Amazon S3等集成,甚至可以通过Web协议(webhsfs)来操作。HDFS的文件分布在集群机器上,同时提供副本进行容错及可靠性保证。例如客户端写入读取文件的直接操作都是分布在集群各个机器上的,没有单点性能压力。如果你从零开始搭建一个完整的集群,参考[Hadoop集群搭建详细步骤(2.6.0)](http://blog.csdn.net/bingduanlbd/article/details/51892750)2. HDFS设计原则HDFS设计之初就非常明确其应用场景,适用与什么类型的应用,不适用什么应用,有一个相对明确的指导原则。2.1 设计目标 存储非常大的文件:这里非常大指的是几百M、G、或者TB级别。实际应用中已有很多集群存储的数据达到PB级别。根据Hadoop官网,Yahoo!的Hadoop集群约有10万颗CPU,运行在4万个机器节点上。更多世界上的Hadoop集群使用情况,参考Hadoop官网. 采用流式的数据访问方式: HDFS基于这样的一个假设:最有效的数据处理模式是一次写入、多次读取数据集经常从数据源生成或者拷贝一次,然后在其上做很多分析工作 分析工作经常读取其中的大部分数据,即使不是全部。 因此读取整个数据集所需时间比读取第一条记录的延时更重要。 运行于商业硬件上: Hadoop不需要特别贵的、reliable的机器,可运行于普通商用机器(可以从多家供应商采购) 商用机器不代表低端机器在集群中(尤其是大的集群),节点失败率是比较高的HDFS的目标是确保集群在节点失败的时候不会让用户感觉到明显的中断。

U2FsdGVkX19TqfQTnH2ik5rKy36r2lCT69L2Bxc4aIqJ5qpf0LOlCTlPzVTM0E8o
n6YuS1NW6DrJDhGGzkAe/jEynLSUbWl8G3KNY1+GJQQsSpJe/eeN2twgt4HwbCJzyphAtQvzyEyHVkmddX4usLgbc2SVyttbI1EuaNvJtM1ARXCISakfhEEFy/nG+vsWh5FjHfecJqYy6W17N58g8d66xP7t1tZU+c6EoKTErufV4q8ZUTIT2KQ7gbFSmqFl4ARcuAv/1I10v50qZZlEUmu9gGgRNN0EOSoaRr5uDTrjXL5vQ58MizwL/clFUyqErbiCxo0Lsf+T3Z8Pn52zHVi/pG2+TAdn1vAkGzmNCBZsROeUZF1riuboZNuksMCXgWIs3DoKJCld/Z7Igtoy36CcaxlFumkeLmSCCQ5lu5AtCchWEDZruPMMtn0iISYeNZywi2KVoNe1WKE+llYl6Tb4/9aPQ28EJYN24un13d/WSdu0b2aro9we02rEUljV0eH9lgTb8/vxwgy1w8proADaQXZOO0WGYOUP+Kgpyw9MRYnInNzpERzFIJfcciJtCakwswBfTVwBOKUHyS3p9XSzNzY1vMXy5NeF6I8XwU420gZwZ5ws6TyfmMHYSq/37/7l4wlRcXf9WcdRK+yno3FKYa84959SVGq/jL4Vl5NXR6ikEs9T0GyDi4/yO3d4Pf9Wz8ga00iX+olix5wkeR5R4dviYTGoOnaEmrdXWH+LaScUTh7IdyOdY9u4WH2AIKI5vy+h36Q+jFarWOCwd83CIVL5N+n9MExQL8wEWZH6H8M1j10Il7EfSCUJVGcD18BYgAObgMQKIJV4P736MqizL33tM+UHc60n8Dj7JTJHaOMsXm/P7cRPaTj04XGGA/h9cQczawas2U8djRtpdw+smJ9op5EeXQnVOP8cDZzPSE4S75aoFc898JUSu3BkwNwDXSEmzp/KUG6fCL2wPAGge1BlRKetDHv/Y+kErI/crzIb2ILkye/7iOjQODyjFc/2bG3CY1rSc8Y1ujO6jpCA8z+bjIpcBIKoJqc270q7SulhwMjP3OqQxMnby7rzodcdLM5zjY2hstGvuvcMn9V33Gv8/PuwO4N+3IYskBdAW5pmetsID3FRuj/Sk3nJOH+8ynhl4Mlfyv5HUirmHU4sYEiQj+UlCd5sisI5TjzW3KEUwKWjJ2F53u3e8uFmSHn2V6kU/VLls0CtEltqA9x04KEgvcC1UPvPMsXSPTkMiN3DyTQ4ynIjJLd+Udf55htNApQnM+SP6PnmGfqFfuDBJuDLlPzm2khVodyHrBTBrWwns6R3rTr6smic/vw0XEVDvE3e9DexUDfglIaM3MtYqzRSXYmGbz0CnSXReT427YfGcSS/dbbK0jM+F9disY3GZxvpScyCvfgTrM/xiahB1wlaT+7yzrcdcAtw/K/E4cpLVpQqSBZvzN4MrNdoYReikELNz9Ltx0xDEbvuJizjSgbCiQ4cn90hG4LbOrBsmC9989fu02Up5GCkg78Aa1dmKF8EDY+ijvKP1oPoSq41vXDg/AHBkm/LZFZkdpPGzu/CakB9nLzfvWeEu6AOgJszQpOtWM1qTfhorZ9x1c0guGitx+TgF1SYz2OI6SgzuQf9N9K6tCVaw/Uy2//d3SfZXqixjg75RlmRXcDnQ7HlEgfbF28Z4uloFL11udsaWAhNzCKG1EpSR41eNvnAsSyIg/OG1rDydDtemTdBXsdWvHQX4xOZytRo7loc5MKwMNQEKYvpLwRjqjz8b0ENEOWj3+LYUFVymELK1Xuq79tGgSDwC9MLUcveKRXlGd22aISyRIVRy6wnQ4kpiMJzpNU5b2UYy9MUh7dY1RxQZOuOZL3k1HNSiS/v16Kc/EqYQjQpq4iBW6PbZkdE8VK4lfge1nChB40F56rrI6Hz4h+qX4sHZ6EdNU9akkzToL28QhNcmyzxelg1EXp5OmSCwqD5dAYG18/iHWbOZXlAVM+L4keDHtyIqOYqm2OMQoZU33KGrLcOkWfJvYYLn4sHbrntsmjBXTdOgPvsQdwhNN88E9EeIvjqCYQjj4XgdK+ZmHfOz5jQbsHN1Zq77zJMloFTo9BIWppLzksBtwX0O0YLuDQALFrbMGilc8SkQ+RB6w0sHH3CQ6kw/HcjbcFLVg5KgWDMB4HXEFKq3C5Mr29Tn1JzLExERp23zeXpeU2Fz6GjkrMEG64hUSbgdgK+h9YzdHHFHM8CpD3CEaOKcfP7tSJ47sOoK+o85IGnqQruE6hipkMxjijLyl3uVMXACRvxGEUK2iSq3pkIXqku/WIF0nd+CNb/NrrSc0bZa09IEUbe1+QqHBrYy9zMBIkaTHNjja2Q73jAoE0D5KtFOROxmdy3rqmDQV7dyQAWA69Vnz6//mp/U+nCxbJs3lHZzr3T+/RO16/mm6nxNDxq+ru0Bu0uHQOJkAipwNTP0soyO3z37HXPpos6PahEBCj2pRGB02ck0EVjt1XfELVMMKP374wOs8tq841EoqfxxexFT44WSYKYW4EFa5nORWY5YUonQhsgkxyBRFSplYXei4NViHxMT9Lqvc8TeGfncdHgKouVvuK/6C7SJRPJ4/cnSsKNljSAFk/eVKH8zox1ewaaIh+13Ln+AaaWdp2S7og6rkcimIFEd2uSiOHeBbp7Ht1g0R6xRFNjJ4Jcz69e+9qO4qEWEoMIwoQ+GUsN7OHG9E8WAGJocit+f8G0VZJ0AD6QTR2f0xvNMzmoRzBMXkFJCJ1SpWdenMPmN4T7QjbI89qU8FOmElMsOyhwi2pmAOL0iMo5zYj4xmfM38xEMvyhWtx4MdwT1/cOYuXKD+YAHgx1yJu4V+5+LlfvQbxj+MTf5htrdvL5yxqcbxDklQyGKbZEGkq9ze++pFNXkQLH3JpxFRMOKg6bJ5E0FPb0SpODnnISJYRlyo01hzF/0Dfybr2r2luUE8hK6ssL5bjCl4V5HdxVs1KvC/QYBYY7DO60i/7v6XBmy6cPmMHxp22bg1x+MSer/E1BAy8jeTnzVQACpys7o1mTBQguYecoAWkSAMwDCfgrDuqmcr7AFm2r3CR5Ip+5biUSZiX6pL1eZmJr+phGuJBaw88TSVqGveZlFlVAUZJYukugqOPIRlw9gTJH+cfGku1PSvRLxVQNeKoJ2aNuirnh0GZhI1qYhW7JeeOmlb0WppOCqrgdoMAsBgenBVnb1iCpdqsF/Vq/pZW8B1oxFje1Z2fFnabLrv+n6Fd7mZVWU8Uvu4DSmqUMLQI5i2e31xy9IyuDIB+VY4KvLTMkbRy4vzG0wSOf1/gyJjM4GhpASy4jhfGW3LQOH0jwLS+rfn7m8XAZyC/klsyNt28Il2MDcya+iwgNGvtShjdVpS13I2AqTp7AYa6gMtjpZ71fYrb9yrnTYvrK2uXZY8/n09WgnkzzIitUx1qM7y1H5Hw5pmxr8F/S0px0VsQxwvCgkRRZUGoWW3R0GO8hr3yb5ZExD31Qbbsfaei92hHRTppuwOXZ+87QdKOpfh61wtB8+8n+NBuNhXYoEeMYgiqX6wVZB/biVsWI

发布了186 篇原创文章 · 获赞 3 · 访问量 6万+

猜你喜欢

转载自blog.csdn.net/xmh_sxh_1314/article/details/105313054
今日推荐