2012-09-20
前言
为一个已存在的Hadoop集群添加新节点，非常简单。可以算即插即用。
首先是要遵循一个规则，集群中的所有机器的Hadoop涉及到的配置位置要一致：安装路径，JDK（使用的版本与安装路径），所属用户与群组。
然后开始做下面的事情：
步骤
1. 拷贝一份集群上都用的hadoop包到新节点机器上的指定路径上。我建议一直有一份这样的干净的文件存在某个地方，以便不时之需。记得修改文件的拥有者。
2. 拷贝集群使用的JDK到指定目录下。顺便说一句，集群使用的JAVA_HOME参数是由%HADOOP_HOME%/conf/hadoop-env.sh里指定的。
3. 修改该机器上hadoop对应用户的authorized_keys，使得namenode可以不需要密码进行访问该机器。
4. 在各节点的/etc/hosts上添加对应的ip与主机名。
5. 修改namenode的slaves文件。增加新节点的ip或者主机名
6. 在新节点上启动hadoop。
%HADOOP_HOME/bin/hadoop-daemon.sh start datanode
%HADOOP_HOME/bin/hadoop-daemon.sh start tasktracker
7.使用hadoop dfsadmin命令集来刷新集群信息
hadoop dfsadmin -refreshNodes
8. 完成。
如果有问题的话，可以到新节点的日志里进行查看，并分析。
问题集锦
1. JAVA_HOME is not set.
解决：
看看%HADOOP_HOME%/conf/hadoop-env.sh的配置，想很久才明白，原来不是使用系统默认的JAVA_HOME而是这个文件里的配置。
2. 在namenode上用stop-all.sh关闭集群时，新节点要求输入密码。
解决：
修改新节点的hadoop对应用户的authorized_keys，使得namenode可以不需要密码进行访问该机器。
3. 启动jobtracker失败
现象：
org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security.AccessControlException: Permission denied: user=mapred, access=WRITE, inode="/":hdfs:supergroup: ...
解决：
在hdfs上创建mapred.system.dir（该值一般指定在mapred-site.xml中）对应的目录，并赋予对应权限。