【大数据】Hadoop初上阵(安装真是坑坑坑)

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq_35131940/article/details/79856982

刚刚装完了伪分布式的Hadoop,来写一下感谢,并记录一下遇到的bug。

我是按着我们学校的发的大数据教程敲的,但是遇到一大堆bug,估计是选错hadoop版本了,书上写的用hadoop-2.7.3而我用的是hadoop-2.7.5,反正总结一下吧

首先用的是Ubuntu系统(也就是Linux系统)进行安装。整个安装过程比比想象之中简单。主要是应付Ubuntu系统的英文操作界面,这个花了我将近1个多小时。还有学习一些指令

1、Ubuntu类似于Window的cmd在哪里?

2、如何给Ubuntu添加JAVA的path环境

3、下java8到Linux上,文件格式是.rpm还是tar.gz

4、如何用sudo打开~/.bashrc   的记事本,而不是直接在终端里出现文本(一开始用的是vim命令)?

5、Ubuntu如何把文件移入到系统文件目录?

6、hadoop源码bin目录下找不到start-all.sh来启动hadoop?

7、tomcat@localhost's password: localhost: Permission denied, please try again.这个错误是什么鬼???

总共遇到了以上7坑,真的是浪费时间,整整一个下午就过去了。。。

1、Terminal(终端)右键桌面就写着Open Terminal

2、

sudo gedit ~/.bashrc
//在打开的文件末尾加上
//export PATH='自己所要填的路径':$PATH
source ~/.bashrc

sudo gedit ~/.bashrc是打开配置文件

source ~/.bashrc是让更改的.bashrc配置的环境可以立刻使用

# 加到PATH末尾
export PATH=$PATH:/path/to/your/dir

# 加到PATH开头
export PATH=/path/to/your/dir:$PATH

3、tar.gz是一个压缩文件,rmp可以解压成deb然后成为可执行文件,在Ubuntu上有图形界面安装

下面是如何打包一个目录:

# tar -cvf archive_name.tar directory_to_compress

如何解包:

# tar -xvf archive_name.tar.gz

我选择了rpm文件格式的java。

下载好后,需要把rmp->转换->deb的可执行文件

安装alien转换软件
apt-get install alien

将RPM包转换为deb安装包
sudo alien --scripts *.rpm

这个过程会很长,很长,我中途不耐烦直接Ctrl+C停止,害的有得重跑一遍

4、用sudo gedit 文件名就可以打开

5、因为书上把hadoop解压的文件弄到了系统文件夹,弄了半天没有弄进去。后来还是决定在其它盘上跑,但这个问题是解决了的

[root@linux ~]# cd /tmp
[root@linux tmp]# cp ~/.bashrc bashrc
[root@linux tmp]# cp -R ~/.bashrc bashrc

注意上面那个是cd,而下面是用的cp,我一直写成了cd,狂报错。。。。

6、这个我认为应该是我安装hadoop版本的问题,我在sbin目录下找到了这个文件,然后按照这个目录下的文件执行,完全没有问题


7、第7个错误很头大。

cd ~/.ssh
ssh-keygen -t dsa -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
//添加下面两行
eval "$(ssh-agent -s)"
ssh-add



猜你喜欢

转载自blog.csdn.net/qq_35131940/article/details/79856982
今日推荐