JAVA API简单操作Hadoop

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/HcJsJqJSSM/article/details/83418976

一：环境准备。

     1.开发环境的JDK的版本最好是和Linux上一致，这里是JDK8。

     2.搭建工程导入需要的jar包。

        2.1 hadoop-2.8.5 / share / hadoop / common

        

        2.2 hadoop-2.8.5 / share / hadoop / common / lib（全部导入）

        

       2.3 hadoop-2.8.5 / share / hadoop / hdfs

       

        鉴于jar比较多，可以使用Maven依赖的方式或者是自己做个Libraries吧。在Elipse下制作一个用户库如下。

       

整个工程结构如下，非常简单。

3. Linux下启动Hadoop。

    参看：教程下面只是确保Hadoop的正确启动了。

二。Java的测试实现文件的上传/下载/创建文件夹。

    2.1首先是在HDFS下的根目录下创建一个目录。（客户端方面查看）。

     

   注意正确的导包。

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class HDFSDemo {
   public static void main(String[] args) throws IOException, InterruptedException, URISyntaxException  {
	   // 使用root权限,URI就是之前hadoop配置的路径.9000端口.
	   FileSystem fs=FileSystem.get(new URI("hdfs://192.168.217.134:9000"), new Configuration(),"root");
	   // 创建一个文件夹,这里从HDFS的根目录写起的.
	   Boolean flag=fs.mkdirs(new Path("/testhdfs1026"));
	   System.out.println(flag);
   }
}

 控制台如下：

2.2实现删除目录。

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class HDFSDemo {
   public static void main(String[] args) throws IOException, InterruptedException, URISyntaxException  {
	   // 使用root权限,URI就是之前hadoop配置的路径.9000端口.
	   FileSystem fs=FileSystem.get(new URI("hdfs://192.168.217.134:9000"), new Configuration(),"root");
	   // 删除一个文件夹,这里从HDFS的根目录写起的,如果是单个文件就是false,目录下面有目录就true.
	   Boolean flag=fs.delete(new Path("/testdfs"));
	   System.out.println(flag);
       // 关闭 
       fs.close();
   }
}

 控制台。

2.3实现上传文件。

   源码如下，注意那个IOUtils的包的路径是IO包下的。

import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;
import java.net.URI;
import java.net.URISyntaxException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;

public class HDFSDemo {
   public static void main(String[] args) throws IOException, InterruptedException, URISyntaxException  {
	   // 使用root权限,URI就是之前hadoop配置的路径.9000端口.
	   FileSystem fs=FileSystem.get(new URI("hdfs://192.168.217.134:9000"), new Configuration(),"root");
	   // 实现上传文件,首先是读取本地的文件
	   InputStream in=new FileInputStream("D://hadoop.txt");
	   // 上传文件到HDFS的指定目录下.
	   OutputStream out=fs.create(new Path("/testhdfs1026/hadoop.txt"));
	   // 按照字节的方式复制.buffersize是4K,写完后返回true
	   IOUtils.copyBytes(in, out, 4096, true);
       // 关闭流
       fs.close();
   }
}

 

或者使用：copyFromLocalFile（src，dst）;

2.4实现下载文件。

    

  源码。

import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;
import java.net.URI;
import java.net.URISyntaxException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;

public class HDFSDemo {
   public static void main(String[] args) throws IOException, InterruptedException, URISyntaxException  {
	   // 使用root权限,URI就是之前hadoop配置的路径.9000端口.
	   FileSystem fs=FileSystem.get(new URI("hdfs://192.168.217.134:9000"), new Configuration(),"root");
	   // 实现HDFS内的文件下载至本地
	   InputStream in=fs.open(new Path("/testhdfs1026/hadoop.txt"));
	   // 下载到本地,保存后的名称是hadoop.txt
	   OutputStream out=new FileOutputStream("D://hadoop1026/hadoop.txt");
	   // 按照字节的方式复制.buffersize是4K,写完后返回true.
	   IOUtils.copyBytes(in, out, 4096, true);
       //
       fs.close();
   }
}

 

或者使用：copyToLocalFile（src，dst）;

2.5获取文件信息。

getFileStatus（new Path（path））。返回一个IOVFile。

这些API方法操作还是比较简单方面使用的。