spark jdbc 序列化

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq_35063002/article/details/80663017

jdbc prep是一个PrepareStatement对象,这个对象无法序列化,而传入map中的对象是需要分布式传送到各个节点上,传送前先序列化,到达相应机器上后再反序列化,PrepareStatement是个Java类,如果一个java类想(反)序列化,必须实现Serialize接口,PrepareStatement并没有实现这个接口,对象prep在driver端,collect后的数据也在driver端,就不需prep序列化传到各个节点了。

1.把数据collect到driver端输出

2.mapPartition ,foreachPatition 在excutor实例一个连接,输出

猜你喜欢

转载自blog.csdn.net/qq_35063002/article/details/80663017
今日推荐