Hadoop2.5.2安装——单机模式

转载请出自出处：http://eksliang.iteye.com/blog/2185414

一、概述

       Hadoop有三种模式 单机模式、伪分布模式和完全分布模式，这里先简单介绍单机模式 ，默认情况下，Hadoop被配置成一个非分布式模式，独立运行JAVA进程，适合开始做调试工作。

二、下载地址

Hadoop 网址http://hadoop.apache.org/       OSC地址 http://www.oschina.net/p/hadoop

下载地址：http://www.apache.org/dyn/closer.cgi/hadoop/common/

下载的版本是hadoop-2.5.2.tar.gz

三、拷贝到/usr/hadoop  解压 hadoop

温馨提示，安装之前必须确保JDK已经安装，因为hadoop是用java写的，依赖于jdk.

[root@localhost hadoop]# pwd
/usr/hadoop
[root@localhost hadoop]# ls
hadoop-2.5.2  hadoop-2.5.2.tar.gz

四、修改配置文件 hadoop-env.sh

       Hadoop的配置文件都在/usr/hadoop/hadoop-2.5.2/etc/hadoop下，由于默认情况下是单机模式，一般不用做修改就可以直接做第五步测试实例，下面只是安装实际情况修改。

       在hadoop中配置JAVA_HOME，默认的是export JAVA_HOME=${JAVA_HOME}  如果原来在环境变量中配置过，就可用使用默认的，不需修改。

五、修改java虚拟机的类存

原来启动JVM时配置的最大内存是512m，当运行hadoop的一些自带的实例会报内存溢出，其实这里是可以修改内存大小，如果不需要也不必修改。

export HADOOP_CLIENT_OPTS="-Xmx256m $HADOOP_CLIENT_OPTS"

六、运行实例 Hello Hadoop

切换到该安装目录下，建立要上传到hadoop的两个文件 t1.txt、2.txt

mkdir input
cd input
echo "hello world" > t1.txt
echo "hello hadoop" > t2.txt

 运行hadoop自带的wordcount实例可以统计一批文本文件中单词出现的次数

./hadoop-2.5.2/bin/hadoop jar /usr/hadoop/hadoop-2.5.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.2.jar wordcount input output

 查看结果如下

[root@localhost hadoop]# cat ./output/*
hadoop  1
hello   2
world   1

 

单机部署就是这么简单！

原文出自：http://my.oschina.net/mynote/blog/93340