第一次hadoop作业

Hadoop第一次作业

Hadoop启动:cd /usr/local/hadoop
./sbin/start-dfs.sh
强行修改可读文件:w !sudo tee %
电脑突然断电删除虚拟机的临时文件
创建文本文件:touch 文件名.txt

创建目录:

  1. ./bin/hadoop fs -mkdir -p 目录
  2. 本地新建目录 mkdir -p 目录

本地文件上传到HDFS中:./bin/hdfs dfs -put 目录文件名.txt 目录
HDFS下载到本地:$ ./bin/hdfs dfs -get 目录文件名 目录
从HDFS到HDFS:$ ./bin/hdfs dfs -cp 目录文件吗 目录
查看HDFS中文本内容:$ ./bin/hdfs dfs -cat 目录文件名
查看本地文本内容:
$ cd ~ //主目录
$ cd 下载
$ ls
$ cat 目录文件名

问题:
jps命令直接用

1.软件中心ecplice无法启动:
在这里插入图片描述
解决方法:https://blog.csdn.net/qq_40037872/article/details/94224262

2.eclipse输代码闪退
在这里插入图片描述
解决方法:
https://stackoverflow.com/questions/31146089/eclipse-error-jvm-terminated-exit-code-1-usr-java70-jre-bin-java

JavaAPI检测某个文件存不存在:

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class HDFSFilefExist {
  public static void main(String[] args) {
   try {
    String fileName ="Hetianxin.txt";
    Configuration conf = new Configuration();
    conf.set("fs.defaultFS", "hdfs://localhost:9000");
    conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");
    FileSystem fs =FileSystem.get(conf);
    if(fs.exists(new Path(fileName))) {
     System.out.println("文件存在");
    }else {
     System.out.println("文件不存在");
    }
   }catch(Exception e) {
    e.printStackTrace();
   }
  }
}

可惜明明存在,却没检测出来

发布了2 篇原创文章 · 获赞 2 · 访问量 1570

猜你喜欢

转载自blog.csdn.net/weixin_43852434/article/details/105122822
今日推荐