分布式系统详解--框架（Hadoop--JAVA操作HDFS文件）

前面的文章介绍了怎么将整个集群系统搭建起来，并进行了有效的测试。为了解决登录一台服务器登录其他服务器需要多次输入密码的问题，提供了SSH免密码登录解决方案。还有一些hadoop的简单操作shell命令。今天我们就结合eclipse来用JAVA语言来读取和操作我们的hadoop文件系统中的文件。

一、POM文件

1.1 让我们来先看一下mvnrepository里面关于hadoop中的JAR包

1.2 需要引进的JAR包。

<!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-common -->
		<dependency>
			<groupId>org.apache.hadoop</groupId>
			<artifactId>hadoop-common</artifactId>
			<version>2.7.5</version>
		</dependency>
		<!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-client -->
		<dependency>
			<groupId>org.apache.hadoop</groupId>
			<artifactId>hadoop-client</artifactId>
			<version>2.7.5</version>
		</dependency>
		<!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-hdfs -->
		<dependency>
			<groupId>org.apache.hadoop</groupId>
			<artifactId>hadoop-hdfs</artifactId>
			<version>2.7.5</version>
		</dependency>
		<!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-mapreduce-client-core -->
		<dependency>
			<groupId>org.apache.hadoop</groupId>
			<artifactId>hadoop-mapreduce-client-core</artifactId>
			<version>2.7.5</version>
		</dependency>
	    <dependency>
			<groupId>jdk.tools</groupId>
			<artifactId>jdk.tools</artifactId>
			<version>1.8</version>
			<scope>system</scope>
			<systemPath>${JAVA_HOME}/lib/tools.jar</systemPath>
		</dependency>

二、代码

2.1 前提我先在hdfs dfs 系统根目录下建立一个test文件夹，将README.txt复制了进去。

2.2 查看文件

/**
 * 
 */
package com.yuyi.hadoop;

import java.io.File;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.OutputStream;
import java.net.URI;
import java.net.URISyntaxException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;

/**
 * @author mcb
 *
 *         2018年10月11日 下午5:49:28
 */
public class ReadFileToConSoleTest {

	public static void main(String[] args) throws Exception {
		// 该路径为你想获取的文件的路径，就是想着读取那一个文件
		String filePath = "/test/README.txt";
		readFileToConSole(filePath);
//		readFileToLocal(filePath);
		localToHDFS();
	}

	static FileSystem fs = null;
	static {
		Configuration conf =new Configuration();
		try {
			fs = FileSystem.get(new URI("hdfs://192.168.71.233:8020"), conf, "root");
		} catch (IOException e) {
			// TODO 自动生成的 catch 块
			e.printStackTrace();
		} catch (InterruptedException e) {
			// TODO 自动生成的 catch 块
			e.printStackTrace();
		} catch (URISyntaxException e) {
			// TODO 自动生成的 catch 块
			e.printStackTrace();
		}
	}

	// 文件读取
	public static void readFileToConSole(String filePath) throws Exception {
		// 获取配置
		Configuration conf = new Configuration();
		// 配置
		conf.set("fs.defaultFS", "hdfs://192.168.71.233:8020");
		// 获取hdfs文件系统的操作对象
		FileSystem fs = FileSystem.get(conf);
		// 具体对文件操作
		FSDataInputStream fin = fs.open(new Path(filePath));
		// 输入流读取，读出到何处，读出大小和是否关闭
		IOUtils.copyBytes(fin, System.out, 4096, true);
	}

	// 文件下载到本地
	public static void readFileToLocal(String filePath) throws Exception {

		FSDataInputStream fin = null;
		OutputStream out = null;
		try {
			// 获取配置
			Configuration conf = new Configuration();
			// 配置
			// conf.set("fs.defaultFS", "hdfs://192.168.71.233:8020");
			// 获取hdfs文件系统的操作对象
			FileSystem fs = FileSystem.get(new URI("hdfs://192.168.71.233:8020"), conf, "root");
			// 具体对文件操作
			fin = fs.open(new Path(filePath));

			out = new FileOutputStream(new File("F:\\hadoop\\testout\\a.txt"));
			// 输入流读取，读出到何处，读出大小和是否关闭
			IOUtils.copyBytes(fin, out, 4096, true);
		} catch (Exception e) {
			// TODO 自动生成的 catch 块
			e.printStackTrace();

		} finally {
			fin.close();
			out.close();
		}
	}

	// 文件从本地上传到hdfs系统中
	public static void localToHDFS() throws IllegalArgumentException, IOException {
		String localPath="F:\\hadoop\\testout";
		String hdfsPath="/test/b.txt";
		fs.copyFromLocalFile(new Path(localPath), new Path(hdfsPath));
		System.out.println("传输完成~~");
		
		
	}

}