Hadoop批处理作业提交问题

1. Slave节点NodeManager启动，但是datanode未启动

首先检查datanode启动节点上hadoop-2.7.2/hdfs/data/current/VERSION中的clusterid是否和namenode同目录下clusterid一致

然后在看storageid是否存在

2. 用Hibench提交作业出现的问题

du: `hdfs://centos35:9000/HiBench/Sort/Input': No such file or directory

本人批量流式sparkstreaming转过来的，所以忽略了一点，批量流式的数据是源源不断到来的，而批处理作业的数据是需要指定数据所在的文件夹，且保证作业提交时文件夹中有数据。

数据发生器启动./prepare后会向系统提交一个产生随机数的作业，这个作业的输出数据即使我们sort文件的输入数据，因此，需要等到随机数作业执行完再提交sort作业。

3. 学会查看log文件，找到问题

由于log文件会很多，这时候可以使用ls --full-time看看每个文件的时间，来确定哪一个才是我们要查看的文件。