HDFS的读操作

HDFS的读操作

客户端启动通过调用文件按系统对象的open()方法读取请求,之后此对象使用RPC [(Remote Procedure Call Protocol)——远程过程调用协议] 链接到namenode并获取元数据(关于数据的数据或者叫做用来描述数据的数据或者叫做信息的信息)信息,响应该元数据请求,具有该块副本的DataNode地址被返回,

而一旦接收到DataNodes的地址,FSDataIntputStream类型的一个对象被返回到客户端,之后就是,

以数据流的形式读取数据,其中客户端多次调用“read()”方法。read()操作一直持续,直到他到达块结束位置,

一旦到块的结尾,DFSIntputStream关闭连接,移动到下一个DataNode的下一个块,客户端读取完毕之后,调用close()方法

想深入了解RPC可去此链接(感觉还不错):
https://blog.csdn.net/weixin_38327420/article/details/85064617
元数据详解可去(嘿嘿):
https://blog.csdn.net/it_man/article/details/8660536

猜你喜欢

转载自blog.csdn.net/lu1279001150/article/details/88629716