spark 日常

1、向spark集群上传大批数据,出现这样的错
GC overhead limit exceeded 和Java heap space
修改好多配置文件,最后发现是m1机的内存不够,最后要合并数据m1上的jdk负担不了,所以报错。之后换s1成功·
 
2、group by 后面不用where 用having,我好像搞错了spark sql 的where和groupby方法的意思,那些好像是操作RDD的 所以之前的spark sql总报错。
 
3、Scala这个语言好像是有点傻的=。= 之前没有写else····报错
def gender(SFZH:String):String = {
if (SFZH.size == 18){
SFZH.substring(16, 17).toInt % 2
}else
SFZH.size.toString
}
4,

猜你喜欢

转载自719607746.iteye.com/blog/2397577
今日推荐