03 JavaアクセスHDFSサービス

私たちは、HDFSのコマンドライン操作に精通しているレッスンは、次に我々は、HDFSのJavaコードを介してサービスにアクセスします。

1つのシステム、ソフトウェア、および前提制約

• Hadoopがインストールされ、開始され
  https://www.jianshu.com/p/b7ae3b51e559を
• hadoop2.7.2.zip窓Liteの
• 関連したダウンロードのjarパッケージ
  ：上記のソフトウェアのダウンロードリンクhttps://pan.baidu.com/s/1c_skDYabCRSkS5hRUB6lFQ
  抽出コード：a00t

2操作

• 1ダウンロードしたJARパッケージを追加し、日食でプロジェクトを作成し、設定した環境変数に
• ディレクトリ\ hadoop2.7.2：Cに2 hadoop2.7.2.zipエキス
• 3個の書き込み、次のテストクラス

package net.wanho.hdfs;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class HDFSTest01 {
        //在HDFS中创建一个文件夹
	public static boolean CreatDir(String dst, Configuration conf) {
		Path dstPath = new Path(dst);
		try {
			FileSystem dhfs = FileSystem.get(conf);
			dhfs.mkdirs(dstPath);
		} catch (IOException ie) {
			ie.printStackTrace();
			return false;
		}
		return true;
	}
       //上传一个本地文件到HDFS
	public static boolean putToHDFS(String src, String dst, Configuration conf) {
		Path dstPath = new Path(dst);
		try {
			FileSystem hdfs = dstPath.getFileSystem(conf);
			hdfs.copyFromLocalFile(false, new Path(src), dstPath);
		} catch (IOException ie) {
			ie.printStackTrace();
			return false;
		}
		return true;
	}

        //从HDFS中下载一个文件到本地
	public static boolean getFromHDFS(String src, String dst, Configuration conf) {
		Path dstPath = new Path(dst);
		try {
			FileSystem dhfs = dstPath.getFileSystem(conf);
			dhfs.copyToLocalFile(false, new Path(src), dstPath);
		} catch (IOException ie) {
			ie.printStackTrace();
			return false;
		}
		return true;
	}

        //删除HDFS中已经存在的一个文件
	public static boolean checkAndDel(final String path, Configuration conf) {
		Path dstPath = new Path(path);
		try {
			FileSystem dhfs = dstPath.getFileSystem(conf);
			if (dhfs.exists(dstPath)) {
				dhfs.delete(dstPath, true);
			} else {
				return false;
			}
		} catch (IOException ie) {
			ie.printStackTrace();
			return false;
		}
		return true;
	}

	/**
	 * 主函数测试
	 */
	public static void main(String[] args) {

		boolean status = false;
		Configuration conf = new Configuration();
		System.setProperty("hadoop.home.dir", "C:\\hadoop2.7.2");
                //192.168.100.192是作者的HDFS所在的linux地址，请读者根据实际情况修改
		conf.set("fs.default.name", "hdfs://192.168.100.192:9000");
		//192.168.100.192是作者的HDFS所在的linux地址，请读者根据实际情况修改
		String dst1 = "hdfs://192.168.100.192:9000/wanhe";
		status = CreatDir(dst1, conf);
		System.out.println("status=" + status);

		// 上传文件
		// String dst = "hdfs://192.168.100.192:9000/wanhe";
                // //请确保地址文件地址正确
		// String src = "C:\\Users\\zhangli\\Desktop\\123.txt";
		// status = putToHDFS(src, dst, conf);
		// System.out.println("status=" + status);

		// 获取文件
		// String src = "hdfs://192.168.100.192:9000/wanhe";
                // //请确保地址文件地址正确
		// String dst = "C:\\Users\\zhangli\\Desktop";
		// status = getFromHDFS(src, dst, conf);
		// System.out.println("status=" + status);

		// 删除文件
		// dst = "hdfs://192.168.100.131:9000/wanhe/123.txt";
		// status = checkAndDel(dst, conf);
		// System.out.println("status=" + status);
	}
}

この時点で、我々はの検索HDFSを変更するには、Javaコードの追加と削除を通じて操作に精通しています。