hdfs的客户端操作
hdfs的客户端有多种形式：
网页形式
命令行形式
客户端在哪里运行，没有约束，只要运行客户端的机器能够跟hdfs集群联网
文件的切块大小和存储的副本数量，都是由客户端决定！
所谓的由客户端决定，是通过配置参数来定的
hdfs的客户端会读以下两个参数，来决定切块大小、副本数量：
切块大小的参数： dfs.blocksize
副本数量的参数： dfs.replication
上面两个参数应该配置在客户端机器的hadoop目录中的hdfs-site.xml中配置
<property> <name>dfs.blocksize</name> <value>64m</value> </property> <property> <name>dfs.replication</name> <value>2</value> </property>
hdfs命令行客户端的常用操作命令
查看hdfs中的目录信息
hadoop fs -ls /hdfs路径
上传文件到hdfs中
hadoop fs -put /本地文件 /aaa
hadoop fs -copyFromLocal /本地文件 /hdfs路径 ## copyFromLocal等价于 put
hadoop fs -moveFromLocal /本地文件 /hdfs路径 ## 跟copyFromLocal的区别是：从本地移动到hdfs中
下载文件到客户端本地磁盘
hadoop fs -get /hdfs中的路径 /本地磁盘目录
hadoop fs -copyToLocal /hdfs中的路径 /本地磁盘路径 ## 跟get等价
hadoop fs -moveToLocal /hdfs路径 /本地路径 ## 从hdfs中移动到本地
在hdfs中创建文件夹
hadoop fs -mkdir -p /aaa/xxx
移动hdfs中的文件（改名）
hadoop fs -mv /hdfs的路径 /hdfs的另一个路径
删除hdfs中的文件或文件夹
hadoop fs -rm -r /aaa
修改文件的权限
hadoop fs -chown user:group /aaa
hadoop fs -chmod 700 /aaa
追加内容到已存在的文件
hadoop fs -appendToFile /本地文件 /hdfs中的文件
显示文本文件的内容
hadoop fs -cat /hdfs中的文件
hadoop fs -tail /hdfs中的文件
public class HdfsClientDemo {
FileSystem fs = null; @Before public void init() throws Exception{ Configuration conf = new Configuration(); conf.set("dfs.replication", "2"); conf.set("dfs.blocksize", "64m"); fs = FileSystem.get(new URI("hdfs://hdp-01:9000/"), conf, "root"); } /** * 上传文件到HDFS * @throws IOException * @throws IllegalArgumentException */ @Test public void testSet() throws IllegalArgumentException, IOException{ fs.copyFromLocalFile(new Path("D:/install-pkgs/hbase-1.2.1-bin.tar.gz"), new Path("/")); fs.close(); } /** * 从HDFS中下载文件到客户端本地磁盘 * @throws IOException * @throws IllegalArgumentException */ @Test public void testGet() throws IllegalArgumentException, IOException{ fs.copyToLocalFile(new Path("/hdp20-05.txt"), new Path("f:/")); fs.close(); } /** * 在hdfs内部移动文件\修改名称 */ @Test public void testRename() throws Exception{ fs.rename(new Path("/install.log"), new Path("/aaa/in.log")); fs.close(); } /** * 在hdfs中创建文件夹 */ @Test public void testMkdir() throws Exception{ fs.mkdirs(new Path("/xx/yy/zz")); fs.close(); } /** * 在hdfs中删除文件或文件夹 */ @Test public void testRm() throws Exception{ fs.delete(new Path("/aaa"), true); fs.close(); } /** * 查询hdfs指定目录下的文件信息 */ @Test public void testLs() throws Exception{ // 只查询文件的信息,不返回文件夹的信息 RemoteIterator<LocatedFileStatus> iter = fs.listFiles(new Path("/"), true); while(iter.hasNext()){ LocatedFileStatus status = iter.next(); System.out.println("文件全路径："+status.getPath()); System.out.println("块大小："+status.getBlockSize()); System.out.println("文件长度："+status.getLen()); System.out.println("副本数量："+status.getReplication()); System.out.println("块信息："+Arrays.toString(status.getBlockLocations())); System.out.println("--------------------------------"); } fs.close(); } /** * 查询hdfs指定目录下的文件和文件夹信息 */ @Test public void testLs2() throws Exception{ FileStatus[] listStatus = fs.listStatus(new Path("/")); for(FileStatus status:listStatus){ System.out.println("文件全路径："+status.getPath()); System.out.println(status.isDirectory()?"这是文件夹":"这是文件"); System.out.println("块大小："+status.getBlockSize()); System.out.println("文件长度："+status.getLen()); System.out.println("副本数量："+status.getReplication()); System.out.println("--------------------------------"); } fs.close(); }