大讲台大数据精英班最新总结

Ctrl+shift+t  快速找到类 Alt + <-  回退 Ctrl+T 查看接口实现类 按右键 goto impl

 

契约管理：HDFS的文件是write-once-read-many。不支持客户端并行写的操作。那么就需要一种机制来保证写文件的互斥操作。HDFS提供了租约的机制。客户端写文件的时候先向 Namenode申请契约，拥有契约的在规定时间拥有文件的写权限。关闭文件时回收契约。

 

 

咱们的这个二次开发的课一共有五天。我们已经讲了两天了。今天的课是5天里面难度最大的一个课。而且是里面最无聊的一个课。所以今天晚上大家要克服一下。2天，就进行二次开发。30个小时。

 

1. 双缓冲（爬虫）
2. 分段加锁

3. 如有什么问题不对请随时联系我 V 15123957473 欢迎技术交流，其他合作

//FileJouanlManager 针对是把数据写到namenode磁盘上面 -》 EditLogFileOutputStream -》java  磁盘

//QuorumJouanlManager 把数据写到journalnode -》QuorumOutputStream

 

 

HDFS面试经常问的问题：

1. block块的存储策略
2. HDFS的读写流程（写数据流程，难度很大），你能说得越详细越好。
3. HDFS的高可用的原理
4. 你能说的出来hadoop 你认识有几个protocol

 

场景驱动的方式：

1. 元数据的管理  mkdirs
2. 文件上传的流程

 

YARN

1: reosurcemanager

2: nodemanager 启动流程

1. 如有什么问题不对请随时联系我 V 15123957473 欢迎技术交流，其他合作

写一段代码，你看他时候如何分配资源，资源调度的整个流程。