1112工作总结



 本想已经把map reducer编好了,可却没成想今天确实怂了一路。

原因是没有彻底搞懂各个字段····而且也没人告我hive中数据的字段长度和hdfs的字段长度是不同的,而且我的程序时按照昨天在hive表中数的长度计量的,而且分隔符是“/001”,不是“/t”·····所以结果一直为空。。囧

后来慌慌的问前辈为什么只有uid后面跟奇怪的符号··点开reducer才发现是传个空,幸好前辈人够好而且不会java··不然我一定会被鄙夷的

日后一定要先看数据再写代码。还是数据敏感度低吧。。不过好歹是弄好了

<!--StartFragment -->
 

这种情况是回滚,多执行几次

上午出现的数据倾斜,加了个combiner解决了

用matches匹配字符串

<!--StartFragment -->
a.matches(".*char.*")       匹配"char”
<!--StartFragment -->
a.matches(".*char.*|.*int.*")       匹配"char” "int"
 
 
我想自己已经开始承担假期中一天哭八遍的恶果了

猜你喜欢

转载自719607746.iteye.com/blog/2155103