这几天有点时间想要分享一下我学习hadoop的一些经验,希望以此来给想要学习他的朋友们带来些帮助,文笔不够专业,希望广大朋友们多指点、拍砖。
本系列使用 hadoop 1.0.4 版本,在今后的系列中,如果没有特别指出,皆为此版本。
本系列使用 CentOS 6.3 Linux 操作系统,请安装他, 稍后我会写一篇关于此的经验分享。
关于Linux的基本操作,我也会写一些,经验分享帖。当然已经有很多博主写的灰常不错。朋友们可以先搜来看看。
hadoop 要求使用jdk6级以上版本, 我使用的jdk1.6u27。
废话不多说, 去hadoop.apache.org下载此版本吧。
假设你已经安装了 CentOS 6.3 系统, 使用root 新建一个 名称为 hadoop的用户, 当然你也可以用其他你喜欢的用户名。本系列经验分享将会一直使用这个用户名。
在root用户的终端中执行命令 useradd hadoop 创建 用户名为hadoop的Linux用户
安装jdk, 把下载的jdk安装(.bin)程序,复制到你希望安装的地方,我在 / 下创建一个文件夹名称为 cloud-computing, 执行命令
mkdir /cloud-computing
复制jdk安装程序到这个文件夹中 , 执行
./jdk.bin等待提示完成。
执行./jdk.bin的时候如果提示 权限有问题, 执行
chmod +x jdk.bin
复制 hadoop 安装到此文件夹中, 执行
tar -zxf hadoop.tar.gz
配置环境变量 执行
vi /etc/profile
在尾部加入, 把光标移动到最后一行 按下o键, 开始写
JAVA_HOME=/cloud-computing/jdk1.6.0_27
PATH=$JAVA_HOME/bin:/cloud-computing/hadoop-1.0.4/bin:$PATH
export JAVA_HOME PATH
保存配置 , 按下esc键,按:wq
jdk1.6.0_27和 hadoop-1.0.4请与你的实际情况保持一致。
执行 source /etc/profile 应用刚才的修改。
到此, 第一步我们已经完成了。
第二步,在hadoop-env.sh中指定JAVA_HOME
vi hadoop-1.0.4/conf/hadoop-env.sh
找到JAVA_HOME这个行 去掉前面的 # 修改路径为 /cloud-computing/jdk1.6.0_27
保存
运行执行 Hadoop 如果不提示出错, 恭喜你, 第一步完成。
如有问题请联系[email protected]。
稍后,我会录制一分此过程的视频, 上传到youku, 会把地址加过来。