Spark中的DataFrame的getAs方法如果取到的值是null的处理结果
我遇到的两种情况吧
val DF = hc.sql("...............")
val rdd = DF.rdd.map{
row =>
val label = row.getAs[Int]("age")
}
1，如果getAs[Integer]("age")那么null值被拿出来依然为null
2，如果getAs[Int]("age")则 label = 0（本以为要报错的才对）
def getAs[T](fieldName: String): T = getAs[T](fieldIndex(fieldName))
建议:如果null不是你想的数据建议在SQL阶段就将其过滤掉
补充一点Java的成员变量和局部变量的知识
扫描二维码关注公众号，回复：
5490638 查看本文章
成员变量与局部变量的联系与区别：
a)无论是成员变量还是局部变量，使用前都需要声明（ 定义）。
b) 对于局部变量来说，使用前必须要初始化；对于成员变量来说，使用前可以不初始化。如果没有初始化成员变量就开始使用，那么每个类型的成员变量都有一个默认的初始值
i. byte、short、int、long 类型的初始值为 0
ii. float、 double 类型的初始值为 0.0
iii. char 类型的初始值'\u0000'
iv. boolean 类型的初始值为 false