python下pymysql的问题

本文和上篇的seaweedfs的使用有丝丝关联,还是在下图的时候遇到的,之前已经把图片url保存到mysql了,然后需要从数据库读出来并且request并push到seaweedfs上,在这个过程中遇到过一个问题,就是我在多个进程中对数据库进行操作。

问题来源是,我们当前数据库数据有600万数据,所以无法一次性读出来去请求下载,所以需要每次读取一个batch然后再下载;我的策略主要是使用master和worker进程分开处理读取数据、下载图片,master进程读取数据库数据,传入worker中进行下载并更新数据库。基本原理很简单,但是测试的时候发现一个问题,就是update是放到worker进程中。因为我们使用mysql,所以就用pymysql作为连接库,但是master读取的时候,发现每次在worker中update的数据master读取的时候发现没更新,所以这就尴尬了。查了下发现这是mysql默认存储引擎是MyISAM,MyISAM存储引擎不支持事务处理。所以通过设置autocommit(1)之后,worker上update操作就可以在master进程上读取了。


猜你喜欢

转载自blog.csdn.net/u014443884/article/details/73132226