Hadoop --- configuração e operação HDFS

Os arquivos de configuração do Hadoop são armazenados em {HADOOP_HOME}/etc/hadoop, configurações relacionadas ao hdfs: core-site.xml, hdfs-site.xml

core-site.xml: explicação detalhada da configuração do core-site

Informações de atributo adicionadas: fs.defaultFS

fs.defaultFS indica que o tipo de sistema de arquivos do cluster especificado é um sistema de arquivos distribuído (HDFS) e a pulsação do datanode é enviada para o endereço nameNode

<configuration>
 
   <property>
        <name>fs.defaultFS</name> 
        <value>hdfs://#{nameNode}:#{PORT}</value> 
  </property>
 
 </configuration>

hdfs-site.xml: detalhes de configuração do hdfs-site

dfs.replication número de cópias, indicando que o número de cópias é 3
dfs.name.dir e dfs.data.dir, o caminho de armazenamento de dados de namenode e datanode
dfs.datanode.max.locked.memory Abra o cache, o valor da configuração é configurado de acordo com a situação da sua própria máquina
dfs.permissions Se deve habilitar a verificação de permissão

<property>
    <name>dfs.replication</name>
    <value>3</value>
</property>
<property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/opt/software/hadoop/hdfs/name</value>
</property>
<property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/opt/software/hadoop/hdfs/data</value>
</property>
<property>
    <name>dfs.datanode.max.locked.memory</name>
    <value>65536</value>
</property>
<property>
    <name>dfs.permissions</name>
    <value>false</value>
</property>

HDFS -- operações de API:

1. Importe o pacote hadoop-client

<dependencies>
 <dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-client</artifactId>
    <version>3.1.3</version>
 </dependency> 
</dependencies>

2. Operação do cliente HSFS

Obter o objeto cliente
Execute comandos de operação relacionados: upload de arquivo, download, modificação de nome/caminho de arquivo, exclusão de arquivo...
fechar recurso

package hadoop.hdfs;

import org.apache.hadoop.fs.Path;
import org.junit.Test;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.conf.Configuration;
import java.io.IOException;

import java.net.URI;
import java.net.URISyntaxException;

public class HdfsClient {
    @Test
    public void testMkdirs() throws URISyntaxException, IOException, InterruptedException {
        // 连接集群nn的地址
        URI uri = new URI("hdfs://TestNode1:9000");
        //创建一个配置文件
        Configuration configuration = new Configuration();

        //用户
        String user = "zsm";
        // 获取到客户端对象
        FileSystem fs = FileSystem.get(uri, configuration, user);
        fs.mkdirs(new Path("/zsm/hdfs/test/"));
        fs.close();
    }

}

2.1 Carregamento de arquivo: copyFromLocalFile

    @Test
    public void testCopyFromLocalFile() throws URISyntaxException, IOException, InterruptedException {
        // 1.获取文件系统
        Configuration configuration = new Configuration();
        configuration.set("dfs.replication","2");
        FileSystem fs = FileSystem.get(new URI("hdfs://node01:9000"),configuration,"zsm");

        // 2.上传文件(在项目文件夹下创建hdfs_test.txt, 也可以指定一个绝对路径下的文件)
        fs.copyFromLocalFile(new Path("hdfs_test.txt"), new Path("/zsm/hdfs/test/"));

        // 3.关闭资源
        fs.close();
    }

2.2 Download do arquivo:

copyToLocalFile(Boolean delSrc, Path src, Path dst, Boolean useRawLocalFileSystem)

boolean delSrc significa se deseja excluir o arquivo original
Path src refere-se ao caminho do arquivo para download
Path dst refere-se ao caminho para baixar o arquivo para
boolean useRawLocalFileSystem Habilita ou não a verificação de arquivo

    @Test
    public void testCopyToLocalFile() throws IOException, URISyntaxException, InterruptedException {
        // 1.获取文件系统
        Configuration configuration = new Configuration();
        FileSystem fs = FileSystem.get(new URI("hdfs://node01:9000"),configuration,"zsm");

        // 2.执行下载操作
        // boolean delSrc 指是否将原文件删除
        // Path src 指要下载的文件路径
        // Path dst 指将文件下载到的路径
        // boolean useRawLocalFileSystem 是否开启文件校验
        fs.copyToLocalFile(false, new Path("/zsm/hdfs/test/hdfs_test.txt"), new Path("zsm_test2.txt"), true);

        // 3.关闭资源
        fs.close();
    }

2.3 Modifique o nome e o caminho do arquivo: renomeie

    @Test
    public void testRename() throws IOException, URISyntaxException, InterruptedException {
        // 1.获取文件系统
        Configuration configuration = new Configuration();
        FileSystem fs = FileSystem.get(new URI("hdfs://node01:9000"),configuration,"zsm");

        // 2.修改文件名称
        fs.rename(new Path("/zsm/hdfs/test/hdsf_test.txt"),new Path("/zsm/hdfs/test2/hdsf_test2.txt"));

        // 3.关闭资源
        fs.close();
    }

2.4 Excluir arquivos e diretórios: excluir

    @Test
    public void testDelete() throws IOException, URISyntaxException, InterruptedException {
        // 1.获取文件系统
        Configuration configuration = new Configuration();
        FileSystem fs = FileSystem.get(new URI("hdfs://node01:9000"),configuration,"zsm");

        // 2.执行删除
        fs.delete(new Path("/zsm/hdfs"),true);

        // 3.关闭资源
        fs.close();
    }

2.5 Ver detalhes do arquivo HDFS

Veja o nome do arquivo, permissões, comprimento, informações de bloqueio

    @Test
    public void testListFiles() throws IOException, InterruptedException,
            URISyntaxException {
        // 1 获取文件系统
        Configuration configuration = new Configuration();
        FileSystem fs = FileSystem.get(new URI("hdfs://node01:9000"),configuration,"zsm");

        // 2 获取文件详情
        RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(new Path("/zsm"), true);
        while (listFiles.hasNext()) {
            LocatedFileStatus fileStatus = listFiles.next();
            System.out.println("========" + fileStatus.getPath() + "=========");
            System.out.println(fileStatus.getPermission());
            System.out.println(fileStatus.getOwner());
            System.out.println(fileStatus.getGroup());
            System.out.println(fileStatus.getLen());
            System.out.println(fileStatus.getModificationTime());
            System.out.println(fileStatus.getReplication());
            System.out.println(fileStatus.getBlockSize());
            System.out.println(fileStatus.getPath().getName());
            // 获取块信息
            BlockLocation[] blockLocations = fileStatus.getBlockLocations();
            System.out.println(Arrays.toString(blockLocations));
        }

        // 3 关闭资源
        fs.close();
    }

2.6 Julgamento de arquivo e pasta HDFS

    @Test
    public void testListStatus() throws IOException, InterruptedException, URISyntaxException{
        // 1 获取文件配置信息
        Configuration configuration = new Configuration();
        FileSystem fs = FileSystem.get(new URI("hdfs://node01:9000"), configuration, "zsm");

        // 2 判断是文件还是文件夹
        FileStatus[] listStatus = fs.listStatus(new Path("/zsm"));
        for (FileStatus fileStatus : listStatus) {
            // 如果是文件
            if (fileStatus.isFile()) {
                System.out.println("f:"+fileStatus.getPath().getName());
            }else {
                System.out.println("d:"+fileStatus.getPath().getName());
            }
        }

        // 3 关闭资源
        fs.close();
    }