之前说过，我们的hadoop集群已经搭建起来了，只是具体的步骤还没来得及整理，幸好今天又把流程走了一遍，真的是不做不晓得，一做才发现自己原来什么都忘记得差不多了，在此记录一下搭建hadoop集群的步骤，便于需要的时候看看！
这个配环境的过程真的是比较困难的，我今天搞了一天终于把自己的机器作为datanode连接上了master机器，我还是年前搞过一遍的呢，所以这个还是需要耐心+细心的！
这里首先声明一下，我之前在我的机器上配置过了hadoop的单机伪分布环境，今天才将我的机器作为一个datanode加入到hadoop集群上的，但是装的ubuntu的版本和jdk的位置跟集群上的都不一样，这说明这个不影响hadoop集群的配置，但是，jdk的版本号和hadoop的版本号以及hadoop装的位置都必须是一样的！下面我们就开始吧！
一、资源的准备：
（1）ubuntu-11.10-beta2-desktop-i386.iso ，ubuntu的安装，直接双击下载的这个东西就行了，真的就像装软件一样！
（2）jdk-6u30-linux-i586.bin，安装jdk要用的，一个hadoop集群上只能用一个版本的jdk，我们用的是这个版本。
（3）hadoop-0.20.203.0rc1.tar.gz，安装hadoop集群必备的！
二、jdk的安装（这里的路径可以自己确定，不一定要和集群上的一样）
我的是放在/home/acer下面的（acer是我电脑的用户名）
1.将刚才准备的jdk放到这个目录下（这一步不是必要的）
sudo cp jdk以前的路径 jdk现在的路径
2.解压执行安装jdk（这里会涉及到权限的问题）
先修改jdk文件的权限
sudo chmod u+x jdk-6u30-linux-i586.bin
再执行安装
sudo ./jdk-6u30-linux-i586.bin
第二步完成之后就会在/home/acer/目录下出现一个jdk1.6.0_30的文件夹
3.配置环境变量
编辑配置文件：sudo gedit /etc/profile
在这个文件最后面添加这么几行：
export JAVA_HOME=/home/acer/jdk1.6.0_30
export JRE_HOME=/home/acer/jdk1.6.0_30/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH
4.重启机器，查看jdk是否安装成功以及版本号
在终端输入：java
如果出来一系列目录东东就是正确了
在终端输入：java -version
可以查看jdk的版本号
如果木有安装成功，可能就是配置问题了，慢慢看，细心点就应该没有问题了！
三、安装hadoop（主要针对master机器）
只要在master机器上安装hadoop就行了，其他机器上的hadoop都可以直接通过连接远程服务器的方式进行复制，这样就方便多了！
1.将刚才准备的 hadoop-0.20.203.0rc1.tar.gz文件复制到/usr/local文件目录下面：
sudo cp hadoop压缩包路径 /usr/local
2.解压hadoop软件包
sudo tar -xzf hadoop-0.20.203.0rc1.tar.gz
为了以后写目录方便，将解压出来的文件修改名字为hadoop：
sudo mv hadoop-0.20.203.0 hadoop
3.为hadoop集群中的每一个节点都创建一个hadoop的用户组和hadoop用户名，这样便于记忆以及管理
建立hadoop用户组：sudo addgroup hadoop
在hadoop用户组下面建立一个hadoop用户名：
sudo adduser -ingroup hadoop hadoop
(这里创建hadoop用户的时候很多信息你不用去添，一直按enter键就行了)
4.添加hadoop用户的权限
打开sudoers文件：sudo gedit /etc/sudoers
在root ALL=(ALL:ALL) ALL后面加上一行：
hadoop ALL = (ALL) ALL
创建了hadoop用户了之后我们以后就都在这个下面进行终端的操作了！
5.配置conf/hadoop-env.sh文件;
切换路径：cd /usr/local/hadoop
编辑文件：sudo gedit conf/hadoop-env.sh
将JAVA_HOME前面的#号去掉，java路径改为：
JAVA_HOME=/home/acer/jdk1.6.0_30
6.配置hosts文件(建立映射关系，用户名和ip一一对应着添加进来)
sudo gedit /etc/hosts
添加之后是这样：
127.0.0.1 localhost
127.0.0.1 ubuntu.ubuntu-domain ubuntu
192.168.1.11 master
192.168.1.7 s7
192.168.1.2 s2
192.168.1.3 s3
192.168.1.4 s4
192.168.1.6 s6
192.168.1.5 s5
192.168.1.8 s8
192.168.1.9 s9
192.168.1.10 secondaryname
# The following lines
are desirable for IPv6 capable hosts
::1 ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-
allrouters
（注：这里可以修改自己主机的名字：sudo gedit /etc/hostname 在这个文件里面修改这个名字就行了）
7.配置master和slaves文件
cd/usr/local/hadoop
sudo gedit
conf/masters 将这个文件的内容改为：master
sudo gedit conf/slaves 将这个文件改为：
s2
s3
s4
s5
s6
s7
s8
s9
(这些就是要加进来的datanode节点的名称，其实这些只要在master机器上配置就行了)
8.配置core-site、mapred-site、hdfs-site文件
sudo gedit conf/core-site.xml
修改为：
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
</configuration>
sudo gedit conf/mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>master:9001</value>
</property>
</configuration>
sudo gedit conf/hdfs-site.xml
<configuration>
<property>
<name>dfs.name.dir</name>
<value>/usr/local/hadoop/datalog1,/usr/local/hadoop/datalog2</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/usr/local/hadoop/data1,/usr/local/hadoop/data2</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>
9.安装SSH
切换到hadoop用户下或者以hadoop身份登录;
1、下载ssh：sudo apt-get install openssh-server；
2、创建sshkey为rsa；ssh-keygen -t rsa -P ""（注意：这里的P是大写的P）
填写key保存路径的时候可以直接使用默认的（一直按enter键就行了。）
3、将ssh-key添加到受信任列表并启用ssk-key
cat /home/hadoop/.ssh/id_rsa.pub >> /home/hadoop/.ssh/authorized_keys
(将公钥追加到收信任文件);
重启ssh：sudo /etc/init.d/ssh reload
4、验证ssh是否
安装成功ssh localhost;
10.生成公钥
ssh-keygen -t dsa -P "" -f ~/.ssh/id_ rsa
11.启动namenode
namenode启动之前做一次 block 负载均衡
sudo gedit conf/hdfs-site.xml
<property>
<name>dfs.balance.bandwidthPerSec</name>
<value>10485760</value>
<description>
Specifies the maximum bandwidth that each datanode can utilize for the balancing purpose in term of the number of bytes per second.
</description>
</property>
bin/start-balancer.sh
bin/start-dfs.sh
好了，到这里基本就差不多了，接下来就是远程复制文件了
要将master机器上的文件一一复制到datanode机器上：（这里以s2为例子）
（1）公钥的复制
scp ~/.ssh/id_rsa.pub hadoop@s2：~/.ssh/
（2）hosts文件的复制
scp /etc/hosts hadoop@s2:/etc/hosts
注：这里如果不能复制，就先将文件复制到/home/hadoop下面，即为：
scp /etc/hosts hadoop@s2:/home/hadoop,再在datanode机器上将其移到相同的路径下面/usr/local
（3）hadoop文件夹的复制，其中的配置也就一起复制过来了！
scp /usr/local/hadoop hadoop@s2:/usr/local
如果不能移动的话和上面的方法一样！
这些东西都复制完了之后，datanode机器还要将复制过来的公钥追加到收信任列表：
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys，还有很重要的一点，datanode机器要把复制过来的hadoop里面的data1,data2和logs删除掉!
这样之后基本上就差不多了，启动datanode和tasktracker:
bin/hadoop-daemon.sh start datanode
bin/hadoop-daemon.sh start tasktracker
这里还可能会涉及到权限的问题：这里我们统一将/usr/local/hadoop文件夹里面的东西的所有者改为hadoop，所属组为hadoop：
sudo chgrp -R hadoop hadoop
sudo chown -R hadoop:hadoop
查看自己的datanode是否启动：jps
当jps不能正常使用的时候：resource /etc/profile
连接时可以在namenode上查看连接情况:
bin/hadoop dfsadmin -report
也可以直接进入网址：master:50070
PS:常用到的一些命令：
新建目录（文件夹）
sudo mkdir 文件夹目
录
删除目录（文件夹）
sudo rm -rf 文件夹目录
这里写得还不是很全面，因为现在对这个东西了解得不是很深入，所以只能暂时这么写着，到时候通过研究，会对其进行一些修改及说明的！