1.第一点：如何理解hdfs分布式文件系统，每台机器出一块磁盘，凑成一个大的硬盘，大的硬盘的容量来自各个服务器的硬盘容量之和。
你出5毛，我出5毛，大家凑成1块。
2. HDFS 是 Hadoop Distribute File System 的简称，意为：Hadoop 分布式文件系统。是 Hadoop 核心组件之一，作为最底层的分布式存储服务而存在。
3.hdfs的特性：
（1）master/slave架构：namenode是我们的主节点，datanode是我们的从节点
namenode主要管理元数据信息 datanode主要存储各种数据
（2）分块存储
（3）名字空间（NameSpace）
（4）HDFS 会给客户端提供一个统一的抽象目录树，客户端通过路径来访问文件，形如：hdfs://namenode:port/dir-a/dir-b/dir-c/file.data。
（5）Namenode 元数据管理；
（6）Datanode 数据存储；
（7）副本机制；
（8）一次写入，多次读出：频繁的写入会造成元数据的频繁的更新改变，比较麻烦。
3. hdfs常用的操作命令：
hdfs dfs -ls / 查看根路径下面的文件或者文件夹
hdfs dfs -mkdir -p /xx/xxx 在hdfs上面递归的创建文件夹
hdfs dfs -moveFromLocal sourceDir(本地磁盘的文件或者文件夹的路径) destDir（hdfs的路径） （剪切）
hdfs dfs -mv hdfsSourceDir hdfsDestDir（剪切，从hdfs上的一个位置移动到另一个位置）
hdfs dfs -put localDir hdfsDir 将本地文件系统的文件或者文件夹放到hdfs上面去 （复制）
Usage: hdfs dfs -rm [-f] [-r|-R递归] [-skipTrash跳过垃圾桶永久删除] URI [URI ...] 删除hdfs上的一个或多个文件或文件夹。
hdfs dfs -tail [-f] URI (Displays last kilobyte of the file to stdout)
hdfs dfs -appendToFile <localsrc> ... <dst> 将本地系统的一个或多个文件追加到hdfs的一个文件中。
hdfs dfs -cat hdfsFiles 查看一个或多个hdfs的文件内容
hdfs dfs -cp hdfsSourceDIr hdfsDestDir 拷贝文件或者文件夹，从hdfs上的一个位置拷贝到另一个位置
hdfs的权限管理两个命令：
hdfs dfs -chmod -R 777 /xxx
hdfs dfs -chown -R hadoop:hadoop /xxx
hdfs dfs -expunge 清空回收站
2.hdfs高级命令使用：主要就是用于限制某个路径下面的文件的个数，或者限制某个路径下面文件的大小。
hdfs dfs -mkdir -p /user/root/lisi #创建hdfs文件夹
hdfs dfsadmin -setQuota 2 lisi # 给该文件夹下面设置最多上传两个文件，上传文件，发现只能上传一个文件
hdfs dfsadmin -clrQuota /user/root/lisi # 清除文件数量限制
hdfs dfsadmin -setSpaceQuota 4k /user/root/lisi # 限制空间大小4KB
hdfs dfs -put /export/softwares/zookeeper-3.4.5-cdh5.14.0.tar.gz /user/root/lisi
hdfs dfsadmin -clrSpaceQuota /user/root/lisi #清除空间限额
hdfs dfs -count -q -h /user/root/lisi 查看hdfs文件限额数量
注意：hdfs dfs -count -q -h /user/root/lisi 可以简写为hdfs dfs -count -q -h lisi 这里使用了相对路径，
当前登录用户是root，所以当前路径是/user/root/
3. hdfs的安全模式：文件系统只接受读数据请求，而不接受删除、修改等变更请求。hdfs集群刚启动的时候，默认30S钟的时间是出于安全期的，去检测datanode了,只有过了30S之后，集群脱离了安全期，然后才可以对集群进行操作
hdfs dfsadmin -safemode [ enter | leave | get ]
4. hdfs基准测试（压力测试）
测试写入速度：
hadoop jar /export/servers/hadoop-2.6.0-cdh5.14.0/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.6.0-cdh5.14.0.jar TestDFSIO -write -nrFiles 10 -fileSize 10MB
完成之后查看写入速度结果，写入速度一般在30M/S左右超不多：
hdfs dfs -text /benchmarks/TestDFSIO/io_write/part-00000
测试读取速度：
hadoop jar /export/servers/hadoop-2.6.0-cdh5.14.0/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.6.0-cdh5.14.0.jar TestDFSIO -read -nrFiles 10 -fileSize 10MB
查看读取结果，实际工作当中通过MR读取速度大概在100M/s左右：
hdfs dfs -text /benchmarks/TestDFSIO/io_read/part-00000
清除测试数据：
hadoop jar /export/servers/hadoop-2.6.0-cdh5.14.0/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.6.0-cdh5.14.0.jar TestDFSIO -clean
注：在执行命令时的当前路径下，会生成一个测试报告文件：-rw-r--r-- 1 root root 303 May 23 22:06 TestDFSIO_results.log