Hadoop不同的文件系统之间通过调用Java API进行交互,实验一中介绍的Shell命令,本质上也就是Java API的应用。
Hadoop官方的Hadoop API文档,可以访问如下网站,查看各个API的功能:网站链接
一、 Eclipse的安装
利用Java API进行交互,需要利用软件Eclipse编写Java程序。这里我使用的在Ubuntu中安装eclipse。
(1)在Ubuntu的边栏打开软件中心
(2)在软件中心搜索栏输入“ec”,软件中心会自动搜索相关的软件
点击图中的eclipse软件,进行安装即可。
(3)点击Ubuntu下侧边栏的搜索工具,输入“eclipse”,搜索已经安装好的相关软件,打开Eclipse。
二、在eclipse中创建项目
(1)第一次打开Eclipse,需要填写workspace(工作空间),用来保存程序所在的位置,这里可以按照默认,不需要改动。
点击“OK”按钮,进入Eclipse软件。
成功启动后的界面。
(2)创建Java工程
选择“File->New->Java Project”菜单,开始创建一个Java工程,会弹出如下图所示的界面。
在“Project name”后面输入工程名称“HDFSExample”,选中“Use default location”,让这个Java工程的所有文件都保存到“/home/hadoop/workspace/HDFSExample”目录下。在“JRE”这个选项卡中,可以选择当前的Linux系统中已经安装好的JDK,比如java-8-openjdk-amd64。然后,点击界面底部的“Next>”按钮,进入下一步的设置。
三、为项目添加所需要的JAR包
需要在这个界面中加载该Java工程所需要用到的JAR包,这些JAR包中包含了可以访问HDFS的Java API。这些JAR包都位于Linux系统的Hadoop安装目录下。
就是在“/usr/local/hadoop/share/hadoop”目录下。点击界面中的“Libraries”选项卡,然后,点击界面右侧的“Add External
JARs…”按钮。
上面的一排目录按钮(即“usr”、“local”、“hadoop”、“share”、“hadoop”、“mapreduce”和“lib”),当点击某个目录按钮时,就会在下面列出该目录的内容。
为了编写一个能够与HDFS交互的Java应用程序,一般需要向Java工程中添加以下JAR包:
(1)”/usr/local/hadoop/share/hadoop/common”目录下的hadoop-common-2.7.1.jar和haoop-nfs-2.7.1.jar;
(2)/usr/local/hadoop/share/hadoop/common/lib”目录下的所有JAR包;
(3)“/usr/local/hadoop/share/hadoop/hdfs”目录下的haoop-hdfs-2.7.1.jar和haoop-hdfs-nfs-2.7.1.jar;
(4)“/usr/local/hadoop/share/hadoop/hdfs/lib”目录下的所有JAR包。
比如,如果要把“/usr/local/hadoop/share/hadoop/common”目录下的hadoop-common-2.7.1.jar和haoop-nfs-2.7.1.jar添加到当前的Java工程中,可以在界面中点击目录按钮,进入到common目录,然后,界面会显示出common目录下的所有内容,如下图:
在界面中用鼠标点击选中hadoop-common-2.7.1.jar和haoop-nfs-2.7.1.jar,然后点击界面右下角的“确定”按钮,就可以把这两个JAR包增加到当前Java工程中,出现的界面如下所示:
可以看出,hadoop-common-2.7.1.jar和haoop-nfs-2.7.1.jar已经被添加到当前Java工程中。然后,按照类似的操作方法,可以再次点击“Add External JARs…”按钮,把剩余的其他JAR包都添加进来。需要注意的是,当需要选中某个目录下的所有JAR包时,可以使用“Ctrl+A”组合键进行全选操作。全部添加完毕以后,就可以点击界面右下角的“Finish”按钮,完成Java工程HDFSExample的创建。
四、编写Java应用程序代码
编写一个Java应用程序,用来检测HDFS中是否存在一个文件:
在Eclipse工作界面左侧的“Package Explorer”面板中,找到刚才创建好的工程名称“HDFSExample”,然后在该工程名称上点击鼠标右键,在弹出的菜单中选择“New->Class”菜单。
在该界面中,只需要在“Name”后面输入新建的Java类文件的名称,这里采用名称“HDFSFileIfExist”,其他都可以采用默认设置,然后,点击界面右下角“Finish”按钮,出现下图所示界面:
可以看出,Eclipse自动创建了一个名为“HDFSFileIfExist.java”的源代码文件,在该文件中输入以下代码:
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class HDFSFileIfExist {
public static void main(String[] args){
try{
String fileName = "test";
Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://localhost:9000");
conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");
FileSystem fs = FileSystem.get(conf);
if(fs.exists(new Path(fileName))){
System.out.println("文件存在");
}else{
System.out.println("文件不存在");
}
}catch (Exception e){
e.printStackTrace();
}
}
}
该程序用来测试HDFS中是否存在一个文件。
其中的String fileName = “test”
这行代码给出了需要被检测的文件名称是“test”,没有给出路径全称,表示是采用了相对路径,实际上就是测试当前登录Linux系统的用户hadoop,在HDFS中对应的用户目录下是否存在test文件,也就是测试HDFS中的“/user/hadoop/”目录下是否存在test文件。
五、编译运行程序
在开始编译运行程序之前,一定要确保Hadoop已经启动运行,如果还没有启动,需要打开一个Linux终端,输入以下命令启动Hadoop:
cd /usr/local/hadoop
start-dfs.sh
然后就可以编译运行上面第(四)点编写的代码。可以直接点击Eclipse工作界面上部的运行程序的快捷按钮,当把鼠标移动到该按钮上时,在弹出的菜单中选择“Run As”,继续在弹出来的菜单中选择“Java Application”,如下图所示。
然后,会弹出如下图所示的界面:
在该界面中,需要在“Select type”下面的文本框中输入“HDFSFileIfExist”,Eclipse就会自动找到相应的类“HDFSFileIfExist-(default package)”(注意:这个类在后面的导出JAR包操作中的Launch configuration中会被用到),然后,点击界面右下角的“OK”按钮,开始运行程序。程序运行结束后,会在底部的“Console”面板中显示运行结果信息。由于目前HDFS的“/user/hadoop”目录下还没有test文件,因此,程序运行结果是“文件不存在”。同时,“Console”面板中还会显示一些类似“log4j:WARN…”的警告信息,可以不用理会。
六、应用程序的配置
即如何把Java应用程序生成JAR包,部署到Hadoop平台上运行。首先,在Hadoop安装目录下新建一个名称为myapp的目录,用来存放我们自己编写的Hadoop应用程序,可以在Linux的终端中执行如下命令:
cd /usr/local/hadoop
mkdir myapp
然后,在Eclipse工作界面左侧的“Package Explorer”面板中,在工程名称“HDFSExample”上点击鼠标右键,在弹出的菜单中选择“Export”,如下图所示。
然后,会弹出如下图所示的界面:
在该界面中,选择“Runnable JAR file”,然后,点击“Next>”按钮,弹出如下图所示的界面:
在该界面中,“Launch configuration”用于设置生成的JAR包被部署启动时运行的主类,需要在下拉列表中选择刚才配置的类“HDFSFileIfExist-HDFSExample”。在“Export destination”中需要设置JAR包要输出保存到哪个目录,比如,这里设为“/usr/local/hadoop/myapp/HDFSExample.jar”。在“Library handling”下面选择“Extract required libraries into generated
JAR”。然后,点击“Finish”按钮,会出现如下图所示的界面:
可以忽略该界面的信息,直接点击界面右下角的“OK”按钮,启动打包过程。打包过程结束后,会出现一个警告信息界面,如下图所示:
可以忽略该界面的信息,直接点击界面右下角的“OK”按钮。至此,已经顺利把HDFSExample工程打包生成了HDFSExample.jar。可以到Linux系统中查看一下生成的HDFSExample.jar文件,可以在Linux的终端中执行如下命令:
cd /usr/local/hadoop/myapp
ls
可以看到,“/usr/local/hadoop/myapp”目录下已经存在一个HDFSExample.jar文件。现在,就可以在Linux系统中,使用hadoop jar命令运行程序,命令如下:
cd /usr/local/hadoop
hadoop jar ./myapp/HDFSExample.jar
或者也可以使用如下命令运行程序:
cd /usr/local/hadoop
java -jar ./myapp/HDFSExample.jar
命令执行结束后,会在屏幕上显示执行结果“文件不存在”。
至此,检测HDFS文件是否存在的程序,就顺利部署完成了。
在Eclipse工作界面左侧的“Package Explorer”面板中,找到刚才创建好的工程名称“HDFSExample”,然后在该工程名称上点击鼠标右键,在弹出的菜单中选择“New->Class”菜单。
在该界面中,只需要在“Name”后面输入新建的Java类文件的名称,这里采用名称“HDFSFileIfWrite”,其他都可以采用默认设置,然后,点击界面右下角“Finish”按钮,出现下图所示界面:
可以看出,Eclipse自动创建了一个名为“HDFSFileIfWrite.java”的源代码文件,在该文件中输入以下代码:
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.Path;
public class HDFSFileIfWrite {
public static void main(String[] args) {
try {
Configuration conf = new Configuration(); conf.set("fs.defaultFS","hdfs://localhost:9000"); conf.set("fs.hdfs.impl","org.apache.hadoop.hdfs.DistributedFileSystem");
FileSystem fs =
FileSystem.get(conf);
byte[] buff = "Hello world".getBytes(); // 要写入的内容
String filename
= "test"; //要写入的文件名
FSDataOutputStream os = fs.create(new Path(filename));
os.write(buff,0,buff.length);
System.out.println("Create:"+ filename);
os.close();
fs.close();
} catch (Exception e) {
e.printStackTrace();
}
}
}
五、编译运行程序
在开始编译运行程序之前,一定要确保Hadoop已经启动运行,如果还没有启动,需要打开一个Linux终端,输入以下命令启动Hadoop:
cd /usr/local/hadoop
start-dfs.sh
然后就可以编译运行上面编写的代码。可以直接点击Eclipse工作界面上部的运行程序的快捷按钮,当把鼠标移动到该按钮上时,在弹出的菜单中选择“Run As”,继续在弹出来的菜单中选择“Java Application”,如下图所示。
然后,会弹出如下图所示的界面:
在该界面中,需要在“Select type”下面的文本框中输入“HDFSFileIfExist”,Eclipse就会自动找到相应的类“HDFSFileIfExist-(default package)”(注意:这个类在后面的导出JAR包操作中的Launch configuration中会被用到),然后,点击界面右下角的“OK”按钮,开始运行程序。程序运行结束后,会在底部的“Console”面板中显示运行结果信息(如下图所示):
六、应用程序的配置
即如何把Java应用程序生成JAR包,部署到Hadoop平台上运行。首先,在Hadoop安装目录下新建一个名称为myapp的目录,用来存放我们自己编写的Hadoop应用程序,可以在Linux的终端中执行如下命令:
cd /usr/local/hadoop
mkdir myapp
然后,在Eclipse工作界面左侧的“Package Explorer”面板中,在工程名称“HDFSExample”上点击鼠标右键,在弹出的菜单中选择“Export”,如下图所示。
然后,会弹出如下图所示的界面:
在该界面中,选择“Runnable JAR file”,然后,点击“Next>”按钮,弹出如下图所示的界面:
在该界面中,“Launch configuration”用于设置生成的JAR包被部署启动时运行的主类,需要在下拉列表中选择刚才配置的类“HDFSFileIfWrite-HDFSExample”。在“Export destination”中需要设置JAR包要输出保存到哪个目录,比如,这里设为“/usr/local/hadoop/myapp/HDFSExample1.jar”。在“Library handling”下面选择“Extract required libraries into generated
JAR”。然后,点击“Finish”按钮,会出现如下图所示的界面:
可以忽略该界面的信息,直接点击界面右下角的“OK”按钮,启动打包过程。打包过程结束后,会出现一个警告信息界面,如下图所示:
可以忽略该界面的信息,直接点击界面右下角的“OK”按钮。至此,已经顺利把HDFSExample工程打包生成了HDFSExample1.jar。可以到Linux系统中查看一下生成的HDFSExample1.jar文件,可以在Linux的终端中执行如下命令:
cd /usr/local/hadoop/myapp
ls
可以看到,“/usr/local/hadoop/myapp”目录下已经存在一个HDFSExample1.jar文件。现在,就可以在Linux系统中,使用hadoop jar命令运行程序,命令如下:
cd /usr/local/hadoop
hadoop jar HDFSExample1.jar
或者也可以使用如下命令运行程序:
cd /usr/local/hadoop
java -jar ./myapp/HDFSExample.jar
命令执行结束后,会在屏幕上显示执行结果Create:test。
至此,写入HDFS文件的程序,就顺利部署完成了。
读取文件
创建一个新的Java class文件,命名为“HDFSFileIfRead”并输入以下代码:
import java.io.BufferedReader;
import java.io.InputStreamReader;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.FSDataInputStream;
public class HDFSFileIfRead{
public static void main(String[] args) {
try {
Configuration
conf = new Configuration(); conf.set("fs.defaultFS","hdfs://localhost:9000"); conf.set("fs.hdfs.impl","org.apache.hadoop.hdfs.DistributedFileSystem");
FileSystem fs =
FileSystem.get(conf);
Path file = new Path("test");
FSDataInputStream getIt =
fs.open(file);
BufferedReader
d = new BufferedReader(new InputStreamReader(getIt));
String content
= d.readLine(); //读取文件一行
System.out.println(content);
d.close(); //关闭文件
fs.close(); //关闭hdfs
} catch (Exception e) {
e.printStackTrace();
}
}
}
在eclipse里面编译运行:
将这个java程序打包成jar包,部署到Hadoop平台上运行。
进入 “/usr/local/hadoop/myapp”,查看是否存在对应的jar包:
在终端用hadoop命令运行jar包:
本文章主要是本人在初学Hadoop时期根据林子雨老师实验教程学习,由自己总结并实践编写而成。