因为框架对速度的极大影响,所以这里进行大数据插入的时候,将使用原生代码进行,尽量避免其他因素对数据插入的影响。
代码:
百万数据结果:
生产第1批20000条数据耗时:0.001秒 InnoDB第1批插入20000条数据耗时0.183秒 生产第2批20000条数据耗时:0.001秒 InnoDB第2批插入20000条数据耗时0.122秒 生产第3批20000条数据耗时:0.001秒 InnoDB第3批插入20000条数据耗时0.261秒 生产第4批20000条数据耗时:0.001秒 InnoDB第4批插入20000条数据耗时0.129秒 生产第5批20000条数据耗时:0.001秒 InnoDB第5批插入20000条数据耗时0.173秒 生产第6批20000条数据耗时:0.001秒 InnoDB第6批插入20000条数据耗时0.13秒 生产第7批20000条数据耗时:0.001秒 InnoDB第7批插入20000条数据耗时0.17秒 生产第8批20000条数据耗时:0.001秒 InnoDB第8批插入20000条数据耗时0.133秒 生产第9批20000条数据耗时:0.001秒 InnoDB第9批插入20000条数据耗时0.302秒 生产第10批20000条数据耗时:0.001秒 InnoDB第10批插入20000条数据耗时0.181秒 生产第11批20000条数据耗时:0.001秒 InnoDB第11批插入20000条数据耗时0.133秒 生产第12批20000条数据耗时:0.001秒 InnoDB第12批插入20000条数据耗时0.124秒 生产第13批20000条数据耗时:0.001秒 InnoDB第13批插入20000条数据耗时0.122秒 生产第14批20000条数据耗时:0.001秒 InnoDB第14批插入20000条数据耗时0.325秒 生产第15批20000条数据耗时:0.001秒 InnoDB第15批插入20000条数据耗时0.211秒 生产第16批20000条数据耗时:0.001秒 InnoDB第16批插入20000条数据耗时0.131秒 生产第17批20000条数据耗时:0.001秒 InnoDB第17批插入20000条数据耗时0.164秒 生产第18批20000条数据耗时:0.001秒 InnoDB第18批插入20000条数据耗时0.199秒 生产第19批20000条数据耗时:0.001秒 InnoDB第19批插入20000条数据耗时0.148秒 生产第20批20000条数据耗时:0.001秒 InnoDB第20批插入20000条数据耗时0.239秒 生产第21批20000条数据耗时:0.001秒 InnoDB第21批插入20000条数据耗时0.144秒 生产第22批20000条数据耗时:0.001秒 InnoDB第22批插入20000条数据耗时0.174秒 生产第23批20000条数据耗时:0.001秒 InnoDB第23批插入20000条数据耗时0.117秒 生产第24批20000条数据耗时:0.001秒 InnoDB第24批插入20000条数据耗时0.133秒 生产第25批20000条数据耗时:0.001秒 InnoDB第25批插入20000条数据耗时0.122秒 生产第26批20000条数据耗时:0.001秒 InnoDB第26批插入20000条数据耗时0.45秒 生产第27批20000条数据耗时:0.001秒 InnoDB第27批插入20000条数据耗时0.13秒 生产第28批20000条数据耗时:0.001秒 InnoDB第28批插入20000条数据耗时0.119秒 生产第29批20000条数据耗时:0.001秒 InnoDB第29批插入20000条数据耗时0.121秒 生产第30批20000条数据耗时:0.001秒 InnoDB第30批插入20000条数据耗时0.12秒 生产第31批20000条数据耗时:0.001秒 InnoDB第31批插入20000条数据耗时0.216秒 生产第32批20000条数据耗时:0.002秒 InnoDB第32批插入20000条数据耗时0.33秒 生产第33批20000条数据耗时:0.001秒 InnoDB第33批插入20000条数据耗时0.131秒 生产第34批20000条数据耗时:0.001秒 InnoDB第34批插入20000条数据耗时0.128秒 生产第35批20000条数据耗时:0.001秒 InnoDB第35批插入20000条数据耗时0.169秒 生产第36批20000条数据耗时:0.001秒 InnoDB第36批插入20000条数据耗时0.12秒 生产第37批20000条数据耗时:0.001秒 InnoDB第37批插入20000条数据耗时0.177秒 生产第38批20000条数据耗时:0.001秒 InnoDB第38批插入20000条数据耗时0.197秒 生产第39批20000条数据耗时:0.002秒 InnoDB第39批插入20000条数据耗时0.206秒 生产第40批20000条数据耗时:0.001秒 InnoDB第40批插入20000条数据耗时0.123秒 生产第41批20000条数据耗时:0.001秒 InnoDB第41批插入20000条数据耗时0.126秒 生产第42批20000条数据耗时:0.001秒 InnoDB第42批插入20000条数据耗时0.12秒 生产第43批20000条数据耗时:0.001秒 InnoDB第43批插入20000条数据耗时0.338秒 生产第44批20000条数据耗时:0.001秒 InnoDB第44批插入20000条数据耗时0.149秒 生产第45批20000条数据耗时:0.001秒 InnoDB第45批插入20000条数据耗时0.131秒 生产第46批20000条数据耗时:0.001秒 InnoDB第46批插入20000条数据耗时0.19秒 生产第47批20000条数据耗时:0.001秒 InnoDB第47批插入20000条数据耗时0.142秒 生产第48批20000条数据耗时:0.002秒 InnoDB第48批插入20000条数据耗时0.306秒 生产第49批20000条数据耗时:0.002秒 InnoDB第49批插入20000条数据耗时0.288秒 生产第50批20000条数据耗时:0.001秒 InnoDB第50批插入20000条数据耗时0.17秒 InnoDB总生产数据耗时0.054秒 InnoDB总插入数据耗时8.967秒InnoDB总生产数据耗时0.054秒
InnoDB总插入数据耗时8.967秒
这次插入千万级数据:
代码:
结果:
生产第1批20000条数据耗时:0.002秒 InnoDB第1批插入20000条数据耗时0.144秒 生产第2批20000条数据耗时:0.001秒 InnoDB第2批插入20000条数据耗时0.132秒 生产第3批20000条数据耗时:0.001秒 InnoDB第3批插入20000条数据耗时0.127秒 生产第4批20000条数据耗时:0.001秒 InnoDB第4批插入20000条数据耗时0.131秒 生产第5批20000条数据耗时:0.001秒 InnoDB第5批插入20000条数据耗时0.118秒 生产第6批20000条数据耗时:0.001秒 InnoDB第6批插入20000条数据耗时0.218秒 生产第7批20000条数据耗时:0.001秒 InnoDB第7批插入20000条数据耗时0.145秒 生产第8批20000条数据耗时:0.001秒 InnoDB第8批插入20000条数据耗时0.125秒 生产第9批20000条数据耗时:0.001秒 InnoDB第9批插入20000条数据耗时0.124秒 生产第10批20000条数据耗时:0.002秒 InnoDB第10批插入20000条数据耗时0.14秒 生产第11批20000条数据耗时:0.001秒 InnoDB第11批插入20000条数据耗时0.135秒 生产第12批20000条数据耗时:0.001秒 InnoDB第12批插入20000条数据耗时0.164秒 生产第13批20000条数据耗时:0.002秒 InnoDB第13批插入20000条数据耗时0.298秒 生产第14批20000条数据耗时:0.001秒 InnoDB第14批插入20000条数据耗时0.145秒 生产第15批20000条数据耗时:0.001秒 InnoDB第15批插入20000条数据耗时0.146秒 生产第16批20000条数据耗时:0.001秒 InnoDB第16批插入20000条数据耗时0.123秒 生产第17批20000条数据耗时:0.001秒 InnoDB第17批插入20000条数据耗时0.123秒 生产第18批20000条数据耗时:0.001秒 InnoDB第18批插入20000条数据耗时0.148秒 生产第19批20000条数据耗时:0.002秒 InnoDB第19批插入20000条数据耗时0.356秒 …………………………………………………………………………………………………………………… InnoDB第76批插入20000条数据耗时0.116秒 生产第77批20000条数据耗时:0.001秒 InnoDB第77批插入20000条数据耗时0.112秒 生产第78批20000条数据耗时:0.001秒 InnoDB第78批插入20000条数据耗时0.211秒 生产第79批20000条数据耗时:0.003秒 InnoDB第79批插入20000条数据耗时0.192秒 生产第80批20000条数据耗时:0.001秒 InnoDB第80批插入20000条数据耗时0.123秒 生产第81批20000条数据耗时:0.001秒 InnoDB第81批插入20000条数据耗时0.124秒 生产第82批20000条数据耗时:0.001秒 InnoDB第82批插入20000条数据耗时0.125秒 生产第83批20000条数据耗时:0.001秒 InnoDB第83批插入20000条数据耗时0.142秒 生产第84批20000条数据耗时:0.001秒 InnoDB第84批插入20000条数据耗时0.122秒 生产第85批20000条数据耗时:0.001秒 InnoDB第85批插入20000条数据耗时0.333秒 生产第86批20000条数据耗时:0.001秒 InnoDB第86批插入20000条数据耗时0.184秒 生产第87批20000条数据耗时:0.001秒 InnoDB第87批插入20000条数据耗时0.123秒 生产第88批20000条数据耗时:0.001秒 InnoDB第88批插入20000条数据耗时0.141秒 生产第89批20000条数据耗时:0.001秒 InnoDB第89批插入20000条数据耗时0.124秒 生产第90批20000条数据耗时:0.001秒 InnoDB第90批插入20000条数据耗时0.204秒 生产第91批20000条数据耗时:0.001秒 InnoDB第91批插入20000条数据耗时0.215秒 生产第92批20000条数据耗时:0.001秒 InnoDB第92批插入20000条数据耗时0.162秒 生产第93批20000条数据耗时:0.001秒 InnoDB第93批插入20000条数据耗时0.142秒 生产第94批20000条数据耗时:0.001秒 InnoDB第94批插入20000条数据耗时0.116秒 生产第95批20000条数据耗时:0.001秒 InnoDB第95批插入20000条数据耗时0.126秒 生产第96批20000条数据耗时:0.001秒 InnoDB第96批插入20000条数据耗时0.122秒 生产第97批20000条数据耗时:0.001秒 InnoDB第97批插入20000条数据耗时0.233秒 生产第98批20000条数据耗时:0.002秒 InnoDB第98批插入20000条数据耗时0.186秒 生产第99批20000条数据耗时:0.001秒 InnoDB第99批插入20000条数据耗时0.124秒 生产第100批20000条数据耗时:0.001秒 InnoDB第100批插入20000条数据耗时0.117秒 生产第101批20000条数据耗时:0.001秒 InnoDB第101批插入20000条数据耗时0.162秒 生产第102批20000条数据耗时:0.001秒 InnoDB第102批插入20000条数据耗时0.166秒 生产第103批20000条数据耗时:0.001秒 InnoDB第103批插入20000条数据耗时0.483秒 生产第104批20000条数据耗时:0.002秒 InnoDB第104批插入20000条数据耗时0.161秒 生产第105批20000条数据耗时:0.001秒 InnoDB第105批插入20000条数据耗时0.181秒 生产第106批20000条数据耗时:0.001秒 InnoDB第106批插入20000条数据耗时0.161秒 生产第107批20000条数据耗时:0.001秒 InnoDB第107批插入20000条数据耗时0.18秒 生产第108批20000条数据耗时:0.003秒 InnoDB第108批插入20000条数据耗时0.178秒 生产第109批20000条数据耗时:0.001秒 InnoDB第109批插入20000条数据耗时0.182秒 生产第110批20000条数据耗时:0.001秒 InnoDB第110批插入20000条数据耗时0.198秒 生产第111批20000条数据耗时:0.001秒 InnoDB第111批插入20000条数据耗时0.124秒 生产第112批20000条数据耗时:0.001秒 InnoDB第112批插入20000条数据耗时0.115秒 生产第113批20000条数据耗时:0.001秒 InnoDB第113批插入20000条数据耗时0.379秒 生产第114批20000条数据耗时:0.001秒 InnoDB第114批插入20000条数据耗时0.124秒 生产第115批20000条数据耗时:0.001秒 InnoDB第115批插入20000条数据耗时0.128秒 生产第116批20000条数据耗时:0.001秒 InnoDB第116批插入20000条数据耗时0.126秒 生产第117批20000条数据耗时:0.001秒 InnoDB第117批插入20000条数据耗时0.24秒 生产第118批20000条数据耗时:0.001秒 InnoDB第118批插入20000条数据耗时0.375秒 生产第119批20000条数据耗时:0.003秒 InnoDB第119批插入20000条数据耗时0.16秒 生产第120批20000条数据耗时:0.001秒 InnoDB第120批插入20000条数据耗时0.118秒 生产第121批20000条数据耗时:0.001秒 InnoDB第121批插入20000条数据耗时0.179秒 生产第122批20000条数据耗时:0.001秒 InnoDB第122批插入20000条数据耗时0.161秒 生产第123批20000条数据耗时:0.002秒 InnoDB第123批插入20000条数据耗时0.208秒 生产第124批20000条数据耗时:0.002秒 InnoDB第124批插入20000条数据耗时0.229秒 生产第125批20000条数据耗时:0.001秒 InnoDB第125批插入20000条数据耗时0.117秒 生产第126批20000条数据耗时:0.001秒 InnoDB第126批插入20000条数据耗时0.188秒 生产第127批20000条数据耗时:0.001秒 InnoDB第127批插入20000条数据耗时0.128秒 生产第128批20000条数据耗时:0.001秒 InnoDB第128批插入20000条数据耗时0.12秒 生产第129批20000条数据耗时:0.001秒 InnoDB第129批插入20000条数据耗时0.229秒 生产第130批20000条数据耗时:0.002秒 InnoDB第130批插入20000条数据耗时0.23秒 生产第131批20000条数据耗时:0.001秒 InnoDB第131批插入20000条数据耗时0.125秒 生产第132批20000条数据耗时:0.001秒 InnoDB第132批插入20000条数据耗时0.123秒 生产第133批20000条数据耗时:0.001秒 InnoDB第133批插入20000条数据耗时0.168秒 生产第134批20000条数据耗时:0.002秒 InnoDB第134批插入20000条数据耗时0.264秒 生产第135批20000条数据耗时:0.001秒 InnoDB第135批插入20000条数据耗时0.216秒 生产第136批20000条数据耗时:0.001秒 InnoDB第136批插入20000条数据耗时0.119秒 生产第137批20000条数据耗时:0.001秒 InnoDB第137批插入20000条数据耗时0.164秒 生产第138批20000条数据耗时:0.002秒 InnoDB第138批插入20000条数据耗时0.197秒 生产第139批20000条数据耗时:0.001秒 InnoDB第139批插入20000条数据耗时0.209秒 生产第140批20000条数据耗时:0.001秒 InnoDB第140批插入20000条数据耗时0.416秒 生产第141批20000条数据耗时:0.001秒 InnoDB第141批插入20000条数据耗时0.145秒 生产第142批20000条数据耗时:0.001秒 InnoDB第142批插入20000条数据耗时0.206秒 生产第143批20000条数据耗时:0.001秒 InnoDB第143批插入20000条数据耗时0.139秒 生产第144批20000条数据耗时:0.001秒 InnoDB第144批插入20000条数据耗时0.48秒 生产第145批20000条数据耗时:0.001秒 InnoDB第145批插入20000条数据耗时0.16秒 生产第146批20000条数据耗时:0.002秒 InnoDB第146批插入20000条数据耗时0.205秒 生产第147批20000条数据耗时:0.001秒 InnoDB第147批插入20000条数据耗时0.14秒 生产第148批20000条数据耗时:0.001秒 InnoDB第148批插入20000条数据耗时0.212秒 生产第149批20000条数据耗时:0.001秒 InnoDB第149批插入20000条数据耗时0.329秒 生产第150批20000条数据耗时:0.003秒 InnoDB第150批插入20000条数据耗时0.171秒 生产第151批20000条数据耗时:0.001秒 InnoDB第151批插入20000条数据耗时0.177秒 生产第152批20000条数据耗时:0.001秒 InnoDB第152批插入20000条数据耗时0.139秒 生产第153批20000条数据耗时:0.001秒 InnoDB第153批插入20000条数据耗时0.283秒 生产第154批20000条数据耗时:0.001秒 InnoDB第154批插入20000条数据耗时0.182秒 生产第155批20000条数据耗时:0.002秒 InnoDB第155批插入20000条数据耗时0.261秒
生产第485批20000条数据耗时:0.001秒 InnoDB第485批插入20000条数据耗时0.139秒 生产第486批20000条数据耗时:0.001秒 InnoDB第486批插入20000条数据耗时0.182秒 生产第487批20000条数据耗时:0.001秒 InnoDB第487批插入20000条数据耗时0.122秒 生产第488批20000条数据耗时:0.001秒 InnoDB第488批插入20000条数据耗时0.124秒 生产第489批20000条数据耗时:0.001秒 InnoDB第489批插入20000条数据耗时0.173秒 生产第490批20000条数据耗时:0.001秒 InnoDB第490批插入20000条数据耗时0.544秒 生产第491批20000条数据耗时:0.001秒 InnoDB第491批插入20000条数据耗时0.123秒 生产第492批20000条数据耗时:0.001秒 InnoDB第492批插入20000条数据耗时0.119秒 生产第493批20000条数据耗时:0.001秒 InnoDB第493批插入20000条数据耗时0.148秒 生产第494批20000条数据耗时:0.001秒 InnoDB第494批插入20000条数据耗时0.465秒 生产第495批20000条数据耗时:0.001秒 InnoDB第495批插入20000条数据耗时0.124秒 生产第496批20000条数据耗时:0.001秒 InnoDB第496批插入20000条数据耗时0.149秒 生产第497批20000条数据耗时:0.001秒 InnoDB第497批插入20000条数据耗时0.139秒 生产第498批20000条数据耗时:0.001秒 InnoDB第498批插入20000条数据耗时0.297秒 生产第499批20000条数据耗时:0.001秒 InnoDB第499批插入20000条数据耗时0.416秒 生产第500批20000条数据耗时:0.003秒 InnoDB第500批插入20000条数据耗时0.163秒 InnoDB总生产数据耗时0.582秒 InnoDB总插入数据耗时97.097秒对比可以看到,原生SQL批量添加1000W条数据,用时97.097秒。极大的提高了数据写入的速度。大数据的导入,有一种常用情况,就是读取其他文件,比如csv文件,或者txt文件,然后存储数据到数据,这时候,应该用原生PHP去读取数据,然后用原生SQL去往数据库写入,避免使用框架,对数据插入的速度造成影响。