目录
一、HDFS常用操作命令
查看根目录下的文件
hadoop fs -ls hdfs://master:9999/ 或 hadoop fs -ls /
hadoop fs -ls -h hdfs://master:9999/ 或 hadoop fs -ls -h / 增加-h参数，使文件大小可读，-d 只显示目录 -R 递归显示目录及文件
创建目录
hadoop fs -mkdir hdfs://master:9999/user 或 hadoop fs -mkdir /user
创建多级目录
hadoop fs -mkdir -p hdfs://master:9999/user/hadoop-twq/cmd 或 hadoop fs -mkdir -p /user/hadoop-twq/cmd
上传本地文件到hdfs中
hadoop fs -copyFromLocal -f word.txt /user/hadoop-twq/cmd
hadoop fs -put word.txt /user/hadoop-twq/cmd 如果文件已存在，则会报错，需要加上-f参数
hadoop fs -put word.txt word2.txt /user/hadoop-twq/cmd 批量上传，如果文件已存在，则会报错，需要加上-f参数
查看文件内容
hadoop fs -cat /user/hadoop-twq/cmd/word.txt
以输入流的形式写入文件到hdfs
hadoop fs -put - /user/hadoop-twq/cmd/put.txt
this is
count
jjjs
按ctrl+D退出
下载文件到本地
hapood fs -get /user/hadoop-twq/cmd/put.txt
创建文件
hadoop fs -touchz /user/hadoop-twq/cmd/flag.txt
修改文件权限
hadoop fs -chmod 744 /user/hadoop-twq/cmd/put.txt
hadoop fs -chmod 777 -R /user/hadoop-twq/cmd
以上命令都有对应的 hdfs dfs 开头的命令一一对应。
其他命令：
hadoop fs -rm /user/hadoop-twq/cmd/put.txt
二、HDFS文件恢复机制
fs.trash.interval = 3 （分钟）配置文件恢复机制
例如： 当我们在 /user/hadoop-twq/cmd 目录下删除文件后
被删除的文件会被转移到 /user/hadoop-twq/.Trash/Current/user/hadoop-twq/cmd 目录下，当超过3分钟之后，此处的文件也会被删除，也就是被永久删除无法恢复了。
文件恢复，直接拷贝回原目录即可。
hadoop fs -cp /user/hadoop-twq/.Trash/Current/user/hadoop-twq/cmd /user/hadoop-twq/cmd
如果我们想在开启了trash文件恢复机制的时候，仍然想立即删除 文件或目录 可以加 -skipTrash 参数
hadoop fs -rm -r -skipTfrash /user/hadoop-twq/cmd
三、hadoop的window本地安装
四、mapreduce 单元测试、集成测试及验证
数据准备
（1）气象数据
isd-history 数据（只有一条数据）
