hadoop实战-03.ubuntu 14.0 安装hadoop 1.0.2

到官网下载 hadoop 1.0.2 ,解压放到想要的目录下:我这里是放在/home/vinking 下面

#sudo tar xzfv hadoop-1.0.2.tar.gz    

将解压的文件名改成hadoop 比较容易记 /home/vinking/hadoop

1.配置 hadoop-env.sh(Java 安装路径)

#cd /home/vinking/hadoop

#sudo vi conf/hadoop-env.sh

打开文件 按i进入编辑模式,插入下面几行

export JAVA_HOME=/usr/lib/jvm/jdk (这个有点问题,后面运行的时候有做修改)

export HADOOP_INSTALL=/home/vinking/hadoop ( 这里用的HADOOP_INSTALL,而不是HADOOP_HOME,网上找到的说法是:因为在新版中后者已经不用了。若用,会有警告)

export PATH=$PATH:/home/vinking/hadoop/bin

按esc,shift+:,接着按x (这里说明一下因为本人不懂vi的用法,还特意问了同事怎么使用,感觉有点难用)

结果如下图


 #source /home/vinking/hadoop/conf/hadoop-env.sh


提示出错,应该是我的JAVA_HOME设置出问题,在 /usr/lib/jvm/jdk 里面其实并没有bin这个文件夹

之前在hadoop-env.sh里面我的设置是这样的 JAVA_HOME=/usr/lib/jvm/jdk,应该是有问题。
找同事帮忙啦,然后发现 系统自动创建了一个 /usr/bin/java

我设置的是在 /usr/lib/jvm/jdk  但其实是在 /usr/lib/jvm/jdk/jdk1.6.0_30/bin,就是多了几层的目录


同事的建议是 将 /usr/bin/java 作为 /usr/lib/jvm/jdk/jdk1.6.0_30/bin的快捷方式,这样查找设置都比较方便,其实下面这个命令我真的看不懂。

然后重新配置 hadoop-env.sh 里面的 JAVA_HOME ,export JAVA_HOME=/usr

#hadoop version


哈哈,终于安装成功,其实整个过程还是有很多linux的问题,自己无法查找和解决问题,需要继续学习。

上面这个是单机模式

2.试运行:(下面这个例子是网上找的啦)

现在运行一下hadoop自带的例子WordCount来感受以下MapReduce过程:

在hadoop目录下新建input文件夹

#mkdir input

将conf中的所有文件拷贝到input文件夹中

#cp conf/* input 

运行WordCount程序,并将结果保存到output中

#bin/hadoop jar hadoop-examples-1.0.2.jar wordcount input output 


会看到conf所有文件的单词和频数都被统计出来。

#cat output/*


上面运行WordCount这个功能的时候,开始的时候也是出错了,也是删除文件夹重新运行整个过程,可能在某些地方出现问题。

上面的安装过程 我自己折腾了很久,最主要的原因还是linux不熟悉,要继续学习啊。

猜你喜欢

转载自vinking934296.iteye.com/blog/2305459
今日推荐