大数据学习3-Hadoop伪分布式搭建和使用

伪分布式:就是假的分布式。都在一台pc机器上用虚拟机模拟不同的web服务器来工作

分布式

一.搭建:

安装jdk

配置环境

安装hadoop

配置环境变量

-------在本地模式中依旧也要做前几步骤--------- 

修改配置文件:

①配合core-site.xml

配置完  可以进行用cat命令查看  core-site.xml文件:

②配置hdfs-site.xml

启动 运行集群:

第一步.初始化配置文件(也就是格式化 ):

  运行后:出现0 说明成功运行

自动生成一个目录:dfs文件夹

第二步:启动服务(namenode)

1.

2.

命令:jps是用来看进程的命令

第三步:

在web端访问HDFS文件系统:http:地址:50070:

如何使用hadoop进行文件的上传下载到HDFS

①在hdfs创建一个目录:

 hadoop fs -mkdir -p /user/xxx     (-p的意思是创建多级目录)

②查看在HDFS上创建的目录:

③上传文件到HDFS的新创建的目录下:

在功能上:

hadoop下的 fs 命令集          和                 hdfs 下的 dfs  提供的功能是一样的。

④删除:

hadoop fs -rm -R  /user/ambow/xxxx

其实就是将文件映射到 hdfs(文件系统)上   实际上的文件存储位置还是 一个节点的电脑上

就是  hdfs的web上看到数据目录:但文件的位置仍然在 节点的电脑上。

发布了68 篇原创文章 · 获赞 21 · 访问量 2万+

猜你喜欢

转载自blog.csdn.net/Taylor_Ocean/article/details/89813943