Tecnologias grande de dados Hadoop HDFS (5) - operações HDFS API

Capítulo V: operações de API HDFS

5.2 fazer o upload de arquivos dos HDFS locais

Passo 1: Criar formas com IDEA projeto Maven Java

Aqui Insert Picture Descrição
Aqui Insert Picture Descrição

Passo dois: adicionar Maven assenta

Adicionar coordenadas do HDFS em pom.xml,

<dependencies>
    <dependency>
         <groupId>junit</groupId>
         <artifactId>junit</artifactId>
         <version>4.12</version>
     </dependency>
     <dependency>
         <groupId>org.apache.hadoop</groupId>
         <artifactId>hadoop-client</artifactId>
         <version>3.1.2</version>
     </dependency>
     <dependency>
         <groupId>org.apache.hadoop</groupId>
         <artifactId>hadoop-common</artifactId>
         <version>3.1.2</version>
     </dependency>
     <dependency>
         <groupId>org.apache.hadoop</groupId>
         <artifactId>hadoop-hdfs</artifactId>
         <version>3.1.2</version>
     </dependency>
     <dependency>
         <groupId>org.apache.hadoop</groupId>
         <artifactId>hadoop-yarn-common</artifactId>
         <version>3.1.2</version>
     </dependency>
     <dependency>
         <groupId>org.apache.hadoop</groupId>
         <artifactId>hadoop-yarn-client</artifactId>
         <version>3.1.2</version>
     </dependency>
     <dependency>
         <groupId>org.apache.hadoop</groupId>
         <artifactId>hadoop-yarn-server-resourcemanager</artifactId>
         <version>3.1.2</version>
     </dependency>
     <dependency>
         <groupId>org.apache.hadoop</groupId>
         <artifactId>hadoop-mapreduce-client-core</artifactId>
         <version>3.1.2</version>
     </dependency>
     <dependency>
         <groupId>org.apache.hadoop</groupId>
         <artifactId>hadoop-mapreduce-client-jobclient</artifactId>
         <version>3.1.2</version>
     </dependency>
     <dependency>
         <groupId>org.apache.hadoop</groupId>
         <artifactId>hadoop-mapreduce-client-common</artifactId>
         <version>3.1.2</version>
     </dependency>
     <dependency>
         <groupId>net.minidev</groupId>
         <artifactId>json-smart</artifactId>
         <version>2.3</version>
     </dependency>
     <dependency>
         <groupId>org.apache.logging.log4j</groupId>
         <artifactId>log4j-core</artifactId>
         <version>2.12.1</version>
     </dependency>
     <dependency>
         <groupId>org.anarres.lzo</groupId>
         <artifactId>lzo-hadoop</artifactId>
         <version>1.0.6</version>
     </dependency>
</dependencies>

Terceiro Passo: Adicione o arquivo de log no diretório de recursos

log4j.properties

log4j.rootLogger=INFO, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/spring.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

O quarto passo: escrever código Java D registros de disco carregado para HDFS

/**
     * 从本地中上传文件到HDFS
     * @throws URISyntaxException
     * @throws IOException
     */
    @Test
    public void put() throws URISyntaxException, IOException, InterruptedException {
        //虚拟机连接名,必须在本地配置域名,不然只能IP地址访问
        String hdfs = "hdfs://hadoop101:9000";
        //1、读取一个HDFS的抽象封装对象
        Configuration configuration = new Configuration ();
        FileSystem fileSystem = FileSystem.get (URI.create (hdfs), configuration, "zhangyong");

        //用这个对象操作文件系统
        fileSystem.copyFromLocalFile (new Path ("d:\\logs"),new Path ("/"));

        System.out.println ("上传完成");
        //关闭文件系统
        fileSystem.close ();
    }

Passo Cinco: resultados Run

Aqui Insert Picture Descrição
Aqui Insert Picture Descrição

5.3 Baixar arquivos de HDFS para o local,

O primeiro passo: topo do primeiro, dois, três etapas quanto

Etapa dois: Verifique arquivo HDFS

Aqui Insert Picture Descrição

O terceiro passo: código java gravação, escolhemos wcinput baixado para o local,

/**
     * 从HDFS中下载文件
     * @throws URISyntaxException
     * @throws IOException
     */
    @Test
    public void get() throws URISyntaxException, IOException, InterruptedException {
        //虚拟机连接名,必须在本地配置域名,不然只能IP地址访问
        String hdfs = "hdfs://hadoop101:9000";
        //1、读取一个HDFS的抽象封装对象
        Configuration configuration = new Configuration ();
        FileSystem fileSystem = FileSystem.get (URI.create (hdfs), configuration, "zhangyong");

        //用这个对象操作文件系统
        fileSystem.copyToLocalFile (new Path ("/wcinput"),new Path ("d:\\"));

        System.out.println ("下载完成");
        //关闭文件系统
        fileSystem.close ();
    }

Passo Quatro: resultados Run

Aqui Insert Picture Descrição
Aqui Insert Picture Descrição

5.4 Alterar nome do arquivo HDFS

O primeiro passo: topo do primeiro, dois, três etapas quanto

Passo dois: código java gravação, os logs de alterações a logs2

 /**
     * 更改HDFS文件的名称
     * @throws URISyntaxException
     * @throws IOException
     */
    @Test
    public void rename() throws URISyntaxException, IOException, InterruptedException {
        //虚拟机连接名,必须在本地配置域名,不然只能IP地址访问
        String hdfs = "hdfs://hadoop101:9000";
        //1、读取一个HDFS的抽象封装对象
        Configuration configuration = new Configuration ();
        FileSystem fileSystem = FileSystem.get (URI.create (hdfs), configuration, "zhangyong");

        //用这个对象操作文件系统
        fileSystem.rename (new Path ("/logs"),new Path ("/logs2"));

        System.out.println ("更改完成");
        //关闭文件系统
        fileSystem.close ();
    }

Passo 3: Executar resultados

Aqui Insert Picture Descrição
Aqui Insert Picture Descrição

5.5 HDFS Excluir pasta

Passo 1: Verifique pastas HDFS, logs2 das HDFS de exclusão

Aqui Insert Picture Descrição

Passo dois: código java write

	 /** HDFS文件夹删除
     * @throws IOException
     * @throws InterruptedException
     * @throws URISyntaxException
     */
    @Test
    public void Delete() throws IOException, InterruptedException, URISyntaxException {
        //虚拟机连接名,必须在本地配置域名,不然只能IP地址访问
        String hdfs = "hdfs://hadoop101:9000";
        // 1 获取文件系统
        Configuration configuration = new Configuration ();
        FileSystem fs = FileSystem.get (new URI (hdfs), configuration, "zhangyong");
        // 2 执行删除
        fs.delete (new Path ("/logs2/"), true);
        // 3 关闭资源
        fs.close ();
        System.out.println ("删除完成");
    }

O terceiro passo: Resultados do Teste

Aqui Insert Picture Descrição
Aqui Insert Picture Descrição

Detalhes do 5.6 arquivo HDFS Ver

Passo 1: Verifique o nome do arquivo, permissões, comprimento, informações bloco

Aqui Insert Picture Descrição

Passo dois: código java write

	  /**
     * 查看文件名称、权限、长度、块信息
     * @throws IOException
     * @throws InterruptedException
     * @throws URISyntaxException
     */
    @Test
    public void ListFiles() throws IOException, InterruptedException, URISyntaxException {
        //虚拟机连接名,必须在本地配置域名,不然只能IP地址访问
        String hdfs = "hdfs://hadoop101:9000";
        // 1获取文件系统
        Configuration configuration = new Configuration ();
        FileSystem fileSystem = FileSystem.get (new URI (hdfs), configuration, "zhangyong");
        // 2 获取文件详情
        RemoteIterator<LocatedFileStatus> listFiles = fileSystem.listFiles (new Path ("/"), true);
        while (listFiles.hasNext ()) {
            LocatedFileStatus status = listFiles.next ();
            // 输出详情
            // 文件名称
            System.out.println ("文件名称="+status.getPath ().getName ());
            // 长度
            System.out.println ("文件长度="+status.getLen ());
            // 权限
            System.out.println ("文件权限="+status.getPermission ());
            // 分组
            System.out.println ("文件分组="+status.getGroup ());
            // 获取存储的块信息
            BlockLocation[] blockLocations = status.getBlockLocations ();
            for (BlockLocation blockLocation : blockLocations) {
                // 获取块存储的主机节点
                String[] hosts = blockLocation.getHosts ();

                for (String host : hosts) {
                    System.out.println (host);
                }
            }
            System.out.println ("-----------分割线----------");
        }
        // 3 关闭资源
        fileSystem.close ();
    }

O terceiro passo: Resultados do Teste

Aqui Insert Picture Descrição

5.7 HDFS arquivos e pastas julgamento

Passo 1: Verifique o arquivo HDFS

Aqui Insert Picture Descrição

Passo dois: código java write

	/**
     * 查看HDFS的判断是文件还是文件夹
     * @throws IOException
     * @throws InterruptedException
     * @throws URISyntaxException
     */
    @Test
    public void ListStatus() throws IOException, InterruptedException, URISyntaxException{
        //虚拟机连接名,必须在本地配置域名,不然只能IP地址访问
        String hdfs = "hdfs://hadoop101:9000";
        // 1 获取文件配置信息
        Configuration configuration = new Configuration();
        FileSystem fileSystem = FileSystem.get(new URI(hdfs), configuration, "zhangyong");
        // 2 判断是文件还是文件夹
        FileStatus[] listStatus = fileSystem.listStatus(new Path("/"));
        for (FileStatus fileStatus : listStatus) {
            // 如果是文件
            if (fileStatus.isFile()) {
                System.out.println("文件:"+fileStatus.getPath().getName());
            }else {
                System.out.println("文件夹:"+fileStatus.getPath().getName());
            }
        }
        // 3 关闭资源
        fileSystem.close();
    }

O terceiro passo: Resultados do Teste

Aqui Insert Picture Descrição

Publicado 37 artigos originais · ganhou elogios 7 · vista 1180

Acho que você gosta

Origin blog.csdn.net/zy13765287861/article/details/104646501
Recomendado
Clasificación