记一次批量插入千万级(php)

业务需求:需要将某一张表内(a)的某个字段进行拆分,然后插入到一张新的表中(b)

a表数据大概有3万多条,但是对其中的字段进行拆分后大概有1000多万的数据 

(1)要防止内存被耗尽,从a表查询出来的3万多数据,按照 每组100 进行分组  php 函数 array_chunk

(2)然后循环遍历,每组100个数据,批量写成insert into () values() sql 语句,添加事务处理(防止频繁创建数据库连接,消耗资源)部分代码

 

猜你喜欢

转载自blog.csdn.net/xly1993/article/details/104608715