版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/liuxw1/article/details/80080242
一、hdfs的实现思想：
1.hdfs是利用分布式集群来存储文件的，为客户端提供一个便捷的访问方式，就是一个虚拟的目录结构。
2.文件存储的时候是被分割成若干的block块的
3.文件的bloc块存放在若干台datanode节点上的
4.hdfs文件系统中的文件与真实的block之间有映射关系。由namenode来管理
5.每一个bolck在集群中会有多个副本，好处是可以提高数据的可靠性，提高并发能力
二、shell指令：
hadoop fs
参数：
-ls：列举当前目录的所有文件
-cat：查看文件内容
-put：上传文件
-get：下载文件
-df：查看磁盘空间，查看某个目录下的磁盘空间有多大
参数 -h比较好阅读的（-human，人性化点）
hadoop fs -df -h /
-du：查看目录下的文件有多大
hadoop fs -du -s -h hdfs://localhost:9000/*
-rm -rf ：递归删除文件目录下的所有文件
-tail：看一个文件的末尾，查看文件的最新的内容
参数-f：可以实时的产看新的内容
-appendToFile：将本地的内容追加到目标文件上去（相当于修改）
-chmod：修改文件权限
-copyFormLocal：从本地拷贝文件到hdfs文件系统，类似于put命令
-cp：在hdfs文件系统中做cp操作
hdfs不支持修改，因为hdfs存储文件的时候会把文件分块儿，如果修改，还得知道修改的地方在哪一块儿，还得知道块儿在哪个datanode上，还得知道块内的哪一行，比较麻烦，追加还好实现一点