每天汇总----10.11

1.jps命令是来自哪里的   jdk,java下的bin目录

2.jps  发现不可用信息,我们应该怎么办   jps不可用,ps -ef出进程,判断进程是否还存活,存活的话切到进程所属用户查看相关进程情况,如果进程是假死状态可以切到/tmp目录下看下hs开头的文件夹删除与进程相关的文件

3.pid文件默认存储哪里?哪个文件修改    /tmp目录下,要修改存储的地址可以在hadoop-env.sh这个配置文件里修改pid的存放地址

4.pid文件人为或Linux系统自动清理,那么会影响服务的正常运行吗?那么又影响什么呢?   不影响正常的运行,但是在关闭进程和重启进程时会受影响

5.面试题,hdfs的读写流程谁是output流,谁是input流?   写入是output,读取是input

6.hadoop fs命令等价什么命令   hdfs dfs

7.hdfs上,上传下载我们习惯用什么  上传:hdfs dfs -put file_local_path hdfs_path  下载:hdfs dfs -get hdfs_file file_local_path

8.hdfs dfs  -ls /   这个根目录是指Linux根目录吗?/前面默认是不是还有一串地址?  这里的/是指hdfs上的根目录,/前面默认还有一串地址为:hdfs://你的hadoopIP地址:9000/

9.假如让你们去官网找 hadoop三个组件的配置文件网址,你们会不会?   这个要会哦,在hadoop.apache.org网址的document下找到你对应的版本,点进去后在左侧菜单栏的最下方

11.一个文件250M,块128M 两个副本,请问实际存储多少个块 ?存储空间多少?   老办法,用250整除128得1余122,一个块占两个block,现在是2副本所以就有4个块了。而实际存储了500M。

12.副本放置策略,第一块放置的策略是什么?这个主要看你用的是哪个节点提交了,如果是使用DataNode来提交那么第一块,就直接存储在本节点上,如果不是DataNode就随机挑选一个磁盘不太慢的,cpu不太繁忙的节点来存储

13.简述SNN是干什么的?snn定期去拉nn的fsimage和editing文件并合并成新的fsimage推送给nn

14.NN节点维护文件系统树,不会实际存储文件有哪些块,块分布哪些机器上?那么是谁块报告给NN节点?    DN定期会发送心跳包给NN,每十次心跳就会推送一次blockreport给NN

拓展题  
生产上比如NN节点设置内存4G  ,那么一般来说NN节点可以维护75%的内存的文件树,说白了就是  存储文件名称。那么当小文件特别多,这样文件名称会特别多,对NN节点内存有压力,有可能会拖垮HDFS,所以生产上一般要小文件合并。什么叫小文件合并,比如:3个文件 都是10M的,文件名称字节加起来比如12个字节,那么合并一个大文件30M,文件名称就降低4字节,这样对NN节点压力就降低了。

猜你喜欢

转载自blog.csdn.net/weixin_39702831/article/details/83006624