hadoop运行环境搭建:
http://blog.csdn.net/licongcong_0224/article/details/12972889
注:(1)所有的配置文件和节点处不要有空格;
(2)master和所有的slaves的hadoop安装路径要一致;
(3)datanode无法启动的原因八成是你多次format namenode造成的;解决方法如下:
[1.
clusterID不一致,namenode的cid和datanode的cid不一致,导致的原因是对namenode进行format的之后,
datanode 不会进行format,所以datanode里面的cid还是和format之前namenode的cid一样,
解决办法是删除datanode里面的 dfs.datanode.data.dir目录和tmp目录,
然后再启动start-dfs.sh
]
[2.
即使删除iptables之后,仍然报Datanode denied communication with namenode: DatanodeRegistration错误,
可以知道需要把集群里面每个houst对应的ip写入/etc/hosts文件就能解决问题。
]
hadoop基本运行命令:
http://www.cnblogs.com/gpcuster/archive/2010/06/04/1751538.html
hadoop代码编译:
http://www.superwu.cn/2013/12/26/913/