spark中使用数据库的注意事项

注意一:
数据库链接要在excutor端创建, 否则会出现connection not serializeble

注意二:
spark sql 写入数据库前要做action 操作,写入才会成功

总结
数据写到诸如MySQL的外部数据库中。 注意:
(1)连接不能写在driver层面,connection无法序列化;
(2)如果写在foreach则每个RDD都创建,得不偿失;
(3)增加foreachPartition,在分区创建。每个分区创建一次

发布了53 篇原创文章 · 获赞 4 · 访问量 956

猜你喜欢

转载自blog.csdn.net/weixin_43548518/article/details/103769653