三十四、HDFS客户端操作

版权声明：本文为博主原创文章，未经博主允许欢迎转载，请注明原文链接。一起交流，共同进步。 https://blog.csdn.net/newbie_907486852/article/details/83050552

                              HDFS客户端操作

1、jar包准备

1）解压hadoop-2.7.2.tar.gz（源码）到非中文目录hadoop-2.7.2

2）创建_lib文件夹，进入hadoop-2.7.2文件夹的share文件夹，查找所有jar包，并把jar包拷贝到_lib文件夹下

3）在全部jar包中查找sources.jar（源码包），并剪切到_lib文件夹下的_source文件夹。

4）在全部jar包中查找tests.jar（测试包），并剪切到_lib文件夹下的_test文件夹。

2、eclipse准备

2.1、将_lib文件夹下非_source、_test文件夹的143个jar包拷贝到D:\EclipseWorkSpace\hadoop_2.7.2_lib

2.2、解压源码hadoop-2.7.2.tar.gz到D:\EclipseWorkSpace\hadoop-2.7.2文件夹

          将hadoopBin文件夹内的文件拷贝到hadoop-2.7.2\bin下

2.3、配置HADOOP_HOME环境变量

2.4、创建第一个java工程

   添加143个jar包到lib目录

package com.yang.hdfs;
import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Test;


public class HdfsClient {
	
	public static void main(String[] args) throws IOException, InterruptedException, URISyntaxException {
        // 1 获取文件系统
		Configuration configuration = new Configuration();
		// 配置在集群上运行
		//configuration.set("fs.defaultFS", "hdfs://hadoop14:9000");
		//FileSystem fileSystem = FileSystem.get(configuration);
		
		// 直接配置访问集群的路径和访问集群的用户名称
        FileSystem fileSystem = FileSystem.get(new URI("hdfs://hadoop14:9000"),configuration, "admin");
		
		// 2 、把本地文件上传到文件系统中
		fileSystem.copyFromLocalFile(new Path("G:/yang.jpg")
				, new Path("/user/admin/mapreduce/wordcount/input/yang.jpg"));
		
		// 3、 关闭资源
		fileSystem.close();
		System.out.println("over==================================");
			
	}
}

2.5、执行程序

运行时需要配置用户名称，客户端去操作hdfs时，是有一个用户身份的。默认情况下，hdfs客户端api会从jvm中获取一个参数来作为自己的用户身份：-DHADOOP_USER_NAME=admin，admin为用户名称。