大数据技术之Hadoop之HDFS(5)——HDFS的API操作

第五章：HDFS的API操作

5.2 从本地中上传文件到HDFS

第一步：用IDEA创建Maven形式的Java项目

第二步：添加Maven依赖

在pom.xml添加HDFS的坐标，

<dependencies>
    <dependency>
         <groupId>junit</groupId>
         <artifactId>junit</artifactId>
         <version>4.12</version>
     </dependency>
     <dependency>
         <groupId>org.apache.hadoop</groupId>
         <artifactId>hadoop-client</artifactId>
         <version>3.1.2</version>
     </dependency>
     <dependency>
         <groupId>org.apache.hadoop</groupId>
         <artifactId>hadoop-common</artifactId>
         <version>3.1.2</version>
     </dependency>
     <dependency>
         <groupId>org.apache.hadoop</groupId>
         <artifactId>hadoop-hdfs</artifactId>
         <version>3.1.2</version>
     </dependency>
     <dependency>
         <groupId>org.apache.hadoop</groupId>
         <artifactId>hadoop-yarn-common</artifactId>
         <version>3.1.2</version>
     </dependency>
     <dependency>
         <groupId>org.apache.hadoop</groupId>
         <artifactId>hadoop-yarn-client</artifactId>
         <version>3.1.2</version>
     </dependency>
     <dependency>
         <groupId>org.apache.hadoop</groupId>
         <artifactId>hadoop-yarn-server-resourcemanager</artifactId>
         <version>3.1.2</version>
     </dependency>
     <dependency>
         <groupId>org.apache.hadoop</groupId>
         <artifactId>hadoop-mapreduce-client-core</artifactId>
         <version>3.1.2</version>
     </dependency>
     <dependency>
         <groupId>org.apache.hadoop</groupId>
         <artifactId>hadoop-mapreduce-client-jobclient</artifactId>
         <version>3.1.2</version>
     </dependency>
     <dependency>
         <groupId>org.apache.hadoop</groupId>
         <artifactId>hadoop-mapreduce-client-common</artifactId>
         <version>3.1.2</version>
     </dependency>
     <dependency>
         <groupId>net.minidev</groupId>
         <artifactId>json-smart</artifactId>
         <version>2.3</version>
     </dependency>
     <dependency>
         <groupId>org.apache.logging.log4j</groupId>
         <artifactId>log4j-core</artifactId>
         <version>2.12.1</version>
     </dependency>
     <dependency>
         <groupId>org.anarres.lzo</groupId>
         <artifactId>lzo-hadoop</artifactId>
         <version>1.0.6</version>
     </dependency>
</dependencies>

第三步：在resources目录下加入日志文件

log4j.properties

log4j.rootLogger=INFO, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/spring.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

第四步：编写java代码将D盘的logs上传到HDFS

/**
     * 从本地中上传文件到HDFS
     * @throws URISyntaxException
     * @throws IOException
     */
    @Test
    public void put() throws URISyntaxException, IOException, InterruptedException {
        //虚拟机连接名，必须在本地配置域名，不然只能IP地址访问
        String hdfs = "hdfs://hadoop101:9000";
        //1、读取一个HDFS的抽象封装对象
        Configuration configuration = new Configuration ();
        FileSystem fileSystem = FileSystem.get (URI.create (hdfs), configuration, "zhangyong");

        //用这个对象操作文件系统
        fileSystem.copyFromLocalFile (new Path ("d:\\logs"),new Path ("/"));

        System.out.println ("上传完成");
        //关闭文件系统
        fileSystem.close ();
    }

第五步：运行结果

5.3 从HDFS中下载文件到本地

第一步：上面第一、二、三步一样

第二步：查看HDFS文件

第三步：编写java代码，我们选择wcinput下载到本地

/**
     * 从HDFS中下载文件
     * @throws URISyntaxException
     * @throws IOException
     */
    @Test
    public void get() throws URISyntaxException, IOException, InterruptedException {
        //虚拟机连接名，必须在本地配置域名，不然只能IP地址访问
        String hdfs = "hdfs://hadoop101:9000";
        //1、读取一个HDFS的抽象封装对象
        Configuration configuration = new Configuration ();
        FileSystem fileSystem = FileSystem.get (URI.create (hdfs), configuration, "zhangyong");

        //用这个对象操作文件系统
        fileSystem.copyToLocalFile (new Path ("/wcinput"),new Path ("d:\\"));

        System.out.println ("下载完成");
        //关闭文件系统
        fileSystem.close ();
    }

第四步：运行结果

5.4 更改HDFS文件的名称

第一步：上面第一、二、三步一样

第二步：编写java代码，更改logs为logs2

 /**
     * 更改HDFS文件的名称
     * @throws URISyntaxException
     * @throws IOException
     */
    @Test
    public void rename() throws URISyntaxException, IOException, InterruptedException {
        //虚拟机连接名，必须在本地配置域名，不然只能IP地址访问
        String hdfs = "hdfs://hadoop101:9000";
        //1、读取一个HDFS的抽象封装对象
        Configuration configuration = new Configuration ();
        FileSystem fileSystem = FileSystem.get (URI.create (hdfs), configuration, "zhangyong");

        //用这个对象操作文件系统
        fileSystem.rename (new Path ("/logs"),new Path ("/logs2"));

        System.out.println ("更改完成");
        //关闭文件系统
        fileSystem.close ();
    }

第三步：运行结果

5.5 HDFS文件夹删除

第一步：查看HDFS的文件夹，删除HDFS的logs2

第二步：编写java代码

	 /** HDFS文件夹删除
     * @throws IOException
     * @throws InterruptedException
     * @throws URISyntaxException
     */
    @Test
    public void Delete() throws IOException, InterruptedException, URISyntaxException {
        //虚拟机连接名，必须在本地配置域名，不然只能IP地址访问
        String hdfs = "hdfs://hadoop101:9000";
        // 1 获取文件系统
        Configuration configuration = new Configuration ();
        FileSystem fs = FileSystem.get (new URI (hdfs), configuration, "zhangyong");
        // 2 执行删除
        fs.delete (new Path ("/logs2/"), true);
        // 3 关闭资源
        fs.close ();
        System.out.println ("删除完成");
    }

第三步：测试结果

5.6 HDFS文件详情查看

第一步：查看文件名称、权限、长度、块信息

第二步：编写java代码

	  /**
     * 查看文件名称、权限、长度、块信息
     * @throws IOException
     * @throws InterruptedException
     * @throws URISyntaxException
     */
    @Test
    public void ListFiles() throws IOException, InterruptedException, URISyntaxException {
        //虚拟机连接名，必须在本地配置域名，不然只能IP地址访问
        String hdfs = "hdfs://hadoop101:9000";
        // 1获取文件系统
        Configuration configuration = new Configuration ();
        FileSystem fileSystem = FileSystem.get (new URI (hdfs), configuration, "zhangyong");
        // 2 获取文件详情
        RemoteIterator<LocatedFileStatus> listFiles = fileSystem.listFiles (new Path ("/"), true);
        while (listFiles.hasNext ()) {
            LocatedFileStatus status = listFiles.next ();
            // 输出详情
            // 文件名称
            System.out.println ("文件名称="+status.getPath ().getName ());
            // 长度
            System.out.println ("文件长度="+status.getLen ());
            // 权限
            System.out.println ("文件权限="+status.getPermission ());
            // 分组
            System.out.println ("文件分组="+status.getGroup ());
            // 获取存储的块信息
            BlockLocation[] blockLocations = status.getBlockLocations ();
            for (BlockLocation blockLocation : blockLocations) {
                // 获取块存储的主机节点
                String[] hosts = blockLocation.getHosts ();

                for (String host : hosts) {
                    System.out.println (host);
                }
            }
            System.out.println ("-----------分割线----------");
        }
        // 3 关闭资源
        fileSystem.close ();
    }

第三步：测试结果

5.7 HDFS文件和文件夹判断

第一步：查看HDFS的文件

第二步：编写java代码

	/**
     * 查看HDFS的判断是文件还是文件夹
     * @throws IOException
     * @throws InterruptedException
     * @throws URISyntaxException
     */
    @Test
    public void ListStatus() throws IOException, InterruptedException, URISyntaxException{
        //虚拟机连接名，必须在本地配置域名，不然只能IP地址访问
        String hdfs = "hdfs://hadoop101:9000";
        // 1 获取文件配置信息
        Configuration configuration = new Configuration();
        FileSystem fileSystem = FileSystem.get(new URI(hdfs), configuration, "zhangyong");
        // 2 判断是文件还是文件夹
        FileStatus[] listStatus = fileSystem.listStatus(new Path("/"));
        for (FileStatus fileStatus : listStatus) {
            // 如果是文件
            if (fileStatus.isFile()) {
                System.out.println("文件:"+fileStatus.getPath().getName());
            }else {
                System.out.println("文件夹:"+fileStatus.getPath().getName());
            }
        }
        // 3 关闭资源
        fileSystem.close();
    }

第三步：测试结果