搭建---Eclipse视图操作Hdfs及HDFS API---java

主题:搭建---Eclipse视图操作Hdfs及HDFS API---java


目录

一,连接hdfs

注意:连接前先把hadoop集群启动起来

0.用host管理工具添加

1.配hadoop插件

2.启动eclipse,再配置其他项

二,HDFS API---java

1.解压hadoop,配置环境变量

2.把另外两个文件放进hadoop的bin下,一个是hadoop.dll,一个是winutils.exe

3.hadoop的环境变量添加到的eclipse中:windows->prefence-->搜索hadoop,导入hadoop的安装目录

4.创建一个java工程,使用java API操作hdfs


一,连接hdfs

注意:连接前先把hadoop集群启动起来

0.用host管理工具添加

运行,添加,保存并应用!

1.配hadoop插件

找到eclipse的安装路径下的dropins文件夹,把hadoop-eclipse-plugin-2.7.3.jar放到dropins下面。

2.启动eclipse,再配置其他项

(1) 在eclipse右上角点击琐事按钮,选中的Map/Reduce按钮,点击Open

出现下图两个区域,说明应用成功

(2)点击下面这个小象,可创建一个新的hadoop位置

点击可看到下图:修改红圈中的内容

访问50070端口,可以知道host,port;Location name任意;

查看NameNode、DataNode:    
http://192.168.80.5:50070

 

看到如下:说明连接成功!

可以查看数据

连接成功后,我们来弄Hdfs API

二,HDFS API---java

1.解压hadoop,配置环境变量

把hadoop-2.10.0.tar.gz解压到windows系统中,解压后的目录为D:\hadoop-2.10.0,设置HODOOP_HOME环境变量,"系统环境变量"添加变量="HADOOP_HOME",值="D:\hadoop-2.10.0",追加"Path",变量="Path",值="D:\hadoop-2.10.0\bin"。

2.把另外两个文件放进hadoop的bin下,一个是hadoop.dll,一个是winutils.exe

3.hadoop的环境变量添加到的eclipse中:windows->prefence-->搜索hadoop,导入hadoop的安装目录

4.创建一个java工程,使用java API操作hdfs

(1)要导入的jar包如下:

【1】common模块下的jar包:

【2】hdfs下的jar包:

新建两个文件夹,把架包取出来,分别放进去。

如图:

(2)创建一个java工程,命名Hbase_project1,并导入架包

右键刚建的工程,build path-->Config build path-->libralies-->Add library-->双击User Libraary-->new-->新建common2.10.0_lib和hdfs2.10.0_lib,然后分别Add External Library,把各自的包加进去

然后假如架包:

然后开始你的代码旅途,好吧!

猜你喜欢

转载自blog.csdn.net/qq_46009608/article/details/110825832