今天花了一下午配置好了hadoop的环境,做完了实验一。
有的命令不太掌握,如tar 解压亚索 ,还有就是找不到.bashrc,自己创建了一个来实现其他的,到了最后才发现自己配置bashrc不在那个目录下,在别的目录。所以在那个目录查找不到。
配置java变量我以前在服务器配置过,hadoop的配置和使用不太熟练,白透了。但是根据教程我觉得和shell命令差别不大,就是hadoop的文件操作系统。
就仿佛我们用word一样,我们可以在windows里创建各种文件,而word创建的是word 文件,但时hadoop fs 可以操作文件也可以操作hdfs文件。更像是一个加了自己功能的linux的界面系统。就是你可以用shell来控制,也可以用界面来做,而且界面多很多新功能。
9/11记
实验说明:
1、 本次实验是第一次上机,属于验证性实验。实验报告上交截止日期为2018年9月29日上午12点之前。
2、 实验报告命名为:信1605-1班学号姓名实验一.doc。
实验环境:
1、 操作系统:Linux(建议Ubuntu16.04);
2、 Hadoop版本:2.7.1。
实验目的:
1、Hadoop运行在Linux系统上,因此,需要学习实践一些常用的Linux命令。本实验旨在熟悉常用的Linux操作和Hadoop操作,为顺利开展后续其他实验奠定基础。
实验步骤:
(一)熟悉常用的Linux操作
l cd命令:切换目录
(1) 切换到目录“/usr/local”
(2) 切换到当前目录的上一级目录
(3) 切换到当前登录Linux系统的用户的自己的主文件夹
l ls命令:查看文件与目录
(4) 查看目录“/usr”下的所有文件和目录
l mkdir命令:新建目录
(5) 进入“/tmp”目录,创建一个名为“a”的目录,并查看“/tmp”目录下已经存在哪些目录
(6) 进入“/tmp”目录,创建目录“a1/a2/a3/a4”
l rmdir命令:删除空的目录
(7) 将上面创建的目录a(在“/tmp”目录下面)删除
(8)删除上面创建的目录“a1/a2/a3/a4” (在“/tmp”目录下面),然后查看“/tmp”目录下面存在
哪些目录
l cp命令:复制文件或目录
(8) 将当前用户的主文件夹下的文件.bashrc复制到目录“/usr”下,并重命名为bashrc1
我的hadoop账户就是sudo组,为啥会出现权限不够呢?
Su更改成了root成功
(9) 在目录“/tmp”下新建目录test,再把这个目录复制到“/usr”目录下
l mv命令:移动文件与目录,或更名
(10) 将“/usr”目录下的文件bashrc1移动到“/usr/test”目录下
(11) 将“/usr”目录下的test目录重命名为test2
l rm命令:移除文件或目录
(12) 将“/usr/test2”目录下的bashrc1文件删除
-r 递归删除 目录必用
(13) 将“/usr”目录下的test2目录删除
l cat命令:查看文件内容
(14) 查看当前用户主文件夹下的.bashrc文件内容
创建了一个a1文件
l tac命令:反向查看文件内容
(15) 反向查看当前用户主文件夹下的.bashrc文件的内容
看上cat图
l more命令:一页一页翻动查看
(16) 翻页查看当前用户主文件夹下的.bashrc文件的内容
没有页可翻就这样吧,我记住功能了
l head命令:取出前面几行
(17) 查看当前用户主文件夹下.bashrc文件内容前20行
(18) 查看当前用户主文件夹下.bashrc文件内容,后面50行不显示,只显示前面几行
l tail命令:取出后面几行
(20) 查看当前用户主文件夹下.bashrc文件内容最后20行
(21) 查看当前用户主文件夹下.bashrc文件内容,并且只列出50行以后的数据
见上面head的图
l touch命令:修改文件时间或创建新文件
(22) 在“/tmp”目录下创建一个空文件hello,并查看文件时间
(23) 修改hello文件,将文件时间整为5天前
l chown命令:修改文件所有者权限
(24) 将hello文件所有者改为root帐号,并查看属性
l find命令:文件查找
(25) 找出主文件夹下文件名为.bashrc的文件
l tar命令:压缩命令
(26) 在根目录“/”下新建文件夹test,然后在根目录“/”下打包成test.tar.gz
(27) 把上面的test.tar.gz压缩包,解压缩到“/tmp”目录
l grep命令:查找字符串
(28) 从“~/.bashrc”文件中查找字符串'examples'
l 配置环境变量
(29)请在“~/.bashrc”中设置,配置Java环境变量
(30)查看JAVA_HOME变量的值
(二)熟悉常用的Hadoop操作
(31)使用hadoop用户登录Linux系统,启动Hadoop(Hadoop的安装目录为“/usr/local/hadoop”),为hadoop用户在HDFS中创建用户目录“/user/hadoop”
(32) 接着在HDFS的目录“/user/hadoop”下,创建test文件夹,并查看文件列表
(33) 将Linux系统本地的“~/.bashrc”文件上传到HDFS的test文件夹中,并查看test
(34)将HDFS文件夹test复制到Linux系统本地文件系统的“/usr/local/hadoop”目录下