hadoop学习笔记(八):Java HDFS API

hadoop学习笔记(八):Java HDFS API

阅读目录

回到顶部

一、使用HDFS FileSystem详解

HDFS依赖的第三方包:

  hadoop 1.x版本:

  commons-configuration-1.6.jar

  commons-lang-2.4.jar

  commons-loggin-1.1.1.jar

  hadoop-core-1.2.1.jar

  log4j-1.2.15.jar

  hadoop2.x版本:

  hadoop-mapreduce-client-core-2.2.0.jar

  hadoop-common-2.2.0.jar 

  hadoop-mapreduce-client-common-2.2.0.jar

  hadoop-mapreduce-client-jobclient-2.2.0.jar

注意:可根据自身的情况和版本信息手动添加或maven仓库依赖。

文件操作

  1 工具类的创建:

  创建一个工具类HDFSUtils,主要用来加载公共信息:  

 HDFSUtils

  2 上传文件到HDFS

 上传文件

  3 读取文件

 读取文件

 查看目录

  4 在hadoop fs中新建文件,并写入

 创建文件

 创建文件并写入内容

  5 重命名文件

 重命名

  6 删除hadoop fs上的文件

 删除

HDFS信息

  1 查找某个文件在HDFS集群中的位置

 查找某个文件在HDFS中的位置

  2 获取HDFS集群上所有节点名称信息

 获取HDFS集群上所有节点名称信息

猜你喜欢

转载自blog.csdn.net/shangsongwww/article/details/89458055