主题:搭建---Eclipse视图操作Hdfs及HDFS API---java
目录
2.把另外两个文件放进hadoop的bin下,一个是hadoop.dll,一个是winutils.exe
3.hadoop的环境变量添加到的eclipse中:windows->prefence-->搜索hadoop,导入hadoop的安装目录
一,连接hdfs
注意:连接前先把hadoop集群启动起来
0.用host管理工具添加
运行,添加,保存并应用!
1.配hadoop插件
找到eclipse的安装路径下的dropins文件夹,把hadoop-eclipse-plugin-2.7.3.jar放到dropins下面。
2.启动eclipse,再配置其他项
(1) 在eclipse右上角点击琐事按钮,选中的Map/Reduce按钮,点击Open
出现下图两个区域,说明应用成功
(2)点击下面这个小象,可创建一个新的hadoop位置
点击可看到下图:修改红圈中的内容
访问50070端口,可以知道host,port;Location name任意;
查看NameNode、DataNode:
http://192.168.80.5:50070
看到如下:说明连接成功!
可以查看数据
连接成功后,我们来弄Hdfs API
二,HDFS API---java
1.解压hadoop,配置环境变量
把hadoop-2.10.0.tar.gz解压到windows系统中,解压后的目录为D:\hadoop-2.10.0,设置HODOOP_HOME环境变量,"系统环境变量"添加变量="HADOOP_HOME",值="D:\hadoop-2.10.0",追加"Path",变量="Path",值="D:\hadoop-2.10.0\bin"。
2.把另外两个文件放进hadoop的bin下,一个是hadoop.dll,一个是winutils.exe
3.hadoop的环境变量添加到的eclipse中:windows->prefence-->搜索hadoop,导入hadoop的安装目录
4.创建一个java工程,使用java API操作hdfs
(1)要导入的jar包如下:
【1】common模块下的jar包:
【2】hdfs下的jar包:
新建两个文件夹,把架包取出来,分别放进去。
如图:
(2)创建一个java工程,命名Hbase_project1,并导入架包
右键刚建的工程,build path-->Config build path-->libralies-->Add library-->双击User Libraary-->new-->新建common2.10.0_lib和hdfs2.10.0_lib,然后分别Add External Library,把各自的包加进去
然后假如架包:
然后开始你的代码旅途,好吧!