数据库高效批量更新

数据库有个表存放着图片文件的相关信息,因为数据量比较大。由于管理不善,其中有重复的文件。因此需要查找重复的文件,并将其标志位置1
如果有大量数据需要更新到数据,如果一条一条update,效率不高。
一开始就是使用了这种方式,但是在处理60万条数据时,要花10分钟左右才能把表更新完。
对这种速度不是很慢,因此查阅了许多相关资料。
其中一种方法就是,先通过批量插入一个临时表,然后通过一条sql语句更新到需要更新的表。
环境是python3 ,mysql数据库,需要用到mysql.executemany(sql,record)的函数,不知道的可以查一下
python核心代码:

#先将需要更新的数据,批量插入到临时表imageFiles_tmp
insertSQL="INSERT INTO `imageFiles_tmp` (`id`, `duplicateTo`, `keep`) VALUES (%s, %s, %s)"
cursor.executemany(insertSQL,updateList)
#将临时表的数据更新到需要更新的表imageFiles 
updateSQL="""UPDATE imageFiles p INNER JOIN imageFiles_tmp pp ON p.id = pp.id SET p.duplicateTo = pp.duplicateTo,p.keep=pp.keep
WHERE pp.id IS NOT NULL """
cursor.execute(updateSQL)

猜你喜欢

转载自blog.csdn.net/jsjason1/article/details/88056811