序列化问题多事rdd遍历过程中使用了没有序列化的对象。
1.将未序列化的变量定义到rdd遍历内部。如定义入数据库连接池。
2.常量定义里包含了未序列化对象 ，提出去吧
如下常量要放到main里，不能放到rdd的遍历中。
val HBASE_TABLE = sparkModel.getUserParamsVal("hbbase_table", "default_table_name")
spark error Caused by: java.io.NotSerializableException: org.apache.hadoop.hdfs.DistributedFileSystem
猜你喜欢
转载自www.cnblogs.com/shaozhiqi/p/11699908.html
今日推荐
周排行