MYSQL 千万数据速度以及极限测试InnoDb--大数据插入(二)

因为框架对速度的极大影响,所以这里进行大数据插入的时候,将使用原生代码进行,尽量避免其他因素对数据插入的影响。

代码:


百万数据结果:

生产第1批20000条数据耗时:0.001秒
InnoDB第1批插入20000条数据耗时0.183秒
生产第2批20000条数据耗时:0.001秒
InnoDB第2批插入20000条数据耗时0.122秒
生产第3批20000条数据耗时:0.001秒
InnoDB第3批插入20000条数据耗时0.261秒
生产第4批20000条数据耗时:0.001秒
InnoDB第4批插入20000条数据耗时0.129秒
生产第5批20000条数据耗时:0.001秒
InnoDB第5批插入20000条数据耗时0.173秒
生产第6批20000条数据耗时:0.001秒
InnoDB第6批插入20000条数据耗时0.13秒
生产第7批20000条数据耗时:0.001秒
InnoDB第7批插入20000条数据耗时0.17秒
生产第8批20000条数据耗时:0.001秒
InnoDB第8批插入20000条数据耗时0.133秒
生产第9批20000条数据耗时:0.001秒
InnoDB第9批插入20000条数据耗时0.302秒
生产第10批20000条数据耗时:0.001秒
InnoDB第10批插入20000条数据耗时0.181秒
生产第11批20000条数据耗时:0.001秒
InnoDB第11批插入20000条数据耗时0.133秒
生产第12批20000条数据耗时:0.001秒
InnoDB第12批插入20000条数据耗时0.124秒
生产第13批20000条数据耗时:0.001秒
InnoDB第13批插入20000条数据耗时0.122秒
生产第14批20000条数据耗时:0.001秒
InnoDB第14批插入20000条数据耗时0.325秒
生产第15批20000条数据耗时:0.001秒
InnoDB第15批插入20000条数据耗时0.211秒
生产第16批20000条数据耗时:0.001秒
InnoDB第16批插入20000条数据耗时0.131秒
生产第17批20000条数据耗时:0.001秒
InnoDB第17批插入20000条数据耗时0.164秒
生产第18批20000条数据耗时:0.001秒
InnoDB第18批插入20000条数据耗时0.199秒
生产第19批20000条数据耗时:0.001秒
InnoDB第19批插入20000条数据耗时0.148秒
生产第20批20000条数据耗时:0.001秒
InnoDB第20批插入20000条数据耗时0.239秒
生产第21批20000条数据耗时:0.001秒
InnoDB第21批插入20000条数据耗时0.144秒
生产第22批20000条数据耗时:0.001秒
InnoDB第22批插入20000条数据耗时0.174秒
生产第23批20000条数据耗时:0.001秒
InnoDB第23批插入20000条数据耗时0.117秒
生产第24批20000条数据耗时:0.001秒
InnoDB第24批插入20000条数据耗时0.133秒
生产第25批20000条数据耗时:0.001秒
InnoDB第25批插入20000条数据耗时0.122秒
生产第26批20000条数据耗时:0.001秒
InnoDB第26批插入20000条数据耗时0.45秒
生产第27批20000条数据耗时:0.001秒
InnoDB第27批插入20000条数据耗时0.13秒
生产第28批20000条数据耗时:0.001秒
InnoDB第28批插入20000条数据耗时0.119秒
生产第29批20000条数据耗时:0.001秒
InnoDB第29批插入20000条数据耗时0.121秒
生产第30批20000条数据耗时:0.001秒
InnoDB第30批插入20000条数据耗时0.12秒
生产第31批20000条数据耗时:0.001秒
InnoDB第31批插入20000条数据耗时0.216秒
生产第32批20000条数据耗时:0.002秒
InnoDB第32批插入20000条数据耗时0.33秒
生产第33批20000条数据耗时:0.001秒
InnoDB第33批插入20000条数据耗时0.131秒
生产第34批20000条数据耗时:0.001秒
InnoDB第34批插入20000条数据耗时0.128秒
生产第35批20000条数据耗时:0.001秒
InnoDB第35批插入20000条数据耗时0.169秒
生产第36批20000条数据耗时:0.001秒
InnoDB第36批插入20000条数据耗时0.12秒
生产第37批20000条数据耗时:0.001秒
InnoDB第37批插入20000条数据耗时0.177秒
生产第38批20000条数据耗时:0.001秒
InnoDB第38批插入20000条数据耗时0.197秒
生产第39批20000条数据耗时:0.002秒
InnoDB第39批插入20000条数据耗时0.206秒
生产第40批20000条数据耗时:0.001秒
InnoDB第40批插入20000条数据耗时0.123秒
生产第41批20000条数据耗时:0.001秒
InnoDB第41批插入20000条数据耗时0.126秒
生产第42批20000条数据耗时:0.001秒
InnoDB第42批插入20000条数据耗时0.12秒
生产第43批20000条数据耗时:0.001秒
InnoDB第43批插入20000条数据耗时0.338秒
生产第44批20000条数据耗时:0.001秒
InnoDB第44批插入20000条数据耗时0.149秒
生产第45批20000条数据耗时:0.001秒
InnoDB第45批插入20000条数据耗时0.131秒
生产第46批20000条数据耗时:0.001秒
InnoDB第46批插入20000条数据耗时0.19秒
生产第47批20000条数据耗时:0.001秒
InnoDB第47批插入20000条数据耗时0.142秒
生产第48批20000条数据耗时:0.002秒
InnoDB第48批插入20000条数据耗时0.306秒
生产第49批20000条数据耗时:0.002秒
InnoDB第49批插入20000条数据耗时0.288秒
生产第50批20000条数据耗时:0.001秒
InnoDB第50批插入20000条数据耗时0.17秒
InnoDB总生产数据耗时0.054秒
InnoDB总插入数据耗时8.967秒
InnoDB总生产数据耗时0.054秒

InnoDB总插入数据耗时8.967秒

这次插入千万级数据:

代码:


结果:

生产第1批20000条数据耗时:0.002秒
InnoDB第1批插入20000条数据耗时0.144秒
生产第2批20000条数据耗时:0.001秒
InnoDB第2批插入20000条数据耗时0.132秒
生产第3批20000条数据耗时:0.001秒
InnoDB第3批插入20000条数据耗时0.127秒
生产第4批20000条数据耗时:0.001秒
InnoDB第4批插入20000条数据耗时0.131秒
生产第5批20000条数据耗时:0.001秒
InnoDB第5批插入20000条数据耗时0.118秒
生产第6批20000条数据耗时:0.001秒
InnoDB第6批插入20000条数据耗时0.218秒
生产第7批20000条数据耗时:0.001秒
InnoDB第7批插入20000条数据耗时0.145秒
生产第8批20000条数据耗时:0.001秒
InnoDB第8批插入20000条数据耗时0.125秒
生产第9批20000条数据耗时:0.001秒
InnoDB第9批插入20000条数据耗时0.124秒
生产第10批20000条数据耗时:0.002秒
InnoDB第10批插入20000条数据耗时0.14秒
生产第11批20000条数据耗时:0.001秒
InnoDB第11批插入20000条数据耗时0.135秒
生产第12批20000条数据耗时:0.001秒
InnoDB第12批插入20000条数据耗时0.164秒
生产第13批20000条数据耗时:0.002秒
InnoDB第13批插入20000条数据耗时0.298秒
生产第14批20000条数据耗时:0.001秒
InnoDB第14批插入20000条数据耗时0.145秒
生产第15批20000条数据耗时:0.001秒
InnoDB第15批插入20000条数据耗时0.146秒
生产第16批20000条数据耗时:0.001秒
InnoDB第16批插入20000条数据耗时0.123秒
生产第17批20000条数据耗时:0.001秒
InnoDB第17批插入20000条数据耗时0.123秒
生产第18批20000条数据耗时:0.001秒
InnoDB第18批插入20000条数据耗时0.148秒
生产第19批20000条数据耗时:0.002秒
InnoDB第19批插入20000条数据耗时0.356秒
……………………………………………………………………………………………………………………
InnoDB第76批插入20000条数据耗时0.116秒
生产第77批20000条数据耗时:0.001秒
InnoDB第77批插入20000条数据耗时0.112秒
生产第78批20000条数据耗时:0.001秒
InnoDB第78批插入20000条数据耗时0.211秒
生产第79批20000条数据耗时:0.003秒
InnoDB第79批插入20000条数据耗时0.192秒
生产第80批20000条数据耗时:0.001秒
InnoDB第80批插入20000条数据耗时0.123秒
生产第81批20000条数据耗时:0.001秒
InnoDB第81批插入20000条数据耗时0.124秒
生产第82批20000条数据耗时:0.001秒
InnoDB第82批插入20000条数据耗时0.125秒
生产第83批20000条数据耗时:0.001秒
InnoDB第83批插入20000条数据耗时0.142秒
生产第84批20000条数据耗时:0.001秒
InnoDB第84批插入20000条数据耗时0.122秒
生产第85批20000条数据耗时:0.001秒
InnoDB第85批插入20000条数据耗时0.333秒
生产第86批20000条数据耗时:0.001秒
InnoDB第86批插入20000条数据耗时0.184秒
生产第87批20000条数据耗时:0.001秒
InnoDB第87批插入20000条数据耗时0.123秒
生产第88批20000条数据耗时:0.001秒
InnoDB第88批插入20000条数据耗时0.141秒
生产第89批20000条数据耗时:0.001秒
InnoDB第89批插入20000条数据耗时0.124秒
生产第90批20000条数据耗时:0.001秒
InnoDB第90批插入20000条数据耗时0.204秒
生产第91批20000条数据耗时:0.001秒
InnoDB第91批插入20000条数据耗时0.215秒
生产第92批20000条数据耗时:0.001秒
InnoDB第92批插入20000条数据耗时0.162秒
生产第93批20000条数据耗时:0.001秒
InnoDB第93批插入20000条数据耗时0.142秒
生产第94批20000条数据耗时:0.001秒
InnoDB第94批插入20000条数据耗时0.116秒
生产第95批20000条数据耗时:0.001秒
InnoDB第95批插入20000条数据耗时0.126秒
生产第96批20000条数据耗时:0.001秒
InnoDB第96批插入20000条数据耗时0.122秒
生产第97批20000条数据耗时:0.001秒
InnoDB第97批插入20000条数据耗时0.233秒
生产第98批20000条数据耗时:0.002秒
InnoDB第98批插入20000条数据耗时0.186秒
生产第99批20000条数据耗时:0.001秒
InnoDB第99批插入20000条数据耗时0.124秒
生产第100批20000条数据耗时:0.001秒
InnoDB第100批插入20000条数据耗时0.117秒
生产第101批20000条数据耗时:0.001秒
InnoDB第101批插入20000条数据耗时0.162秒
生产第102批20000条数据耗时:0.001秒
InnoDB第102批插入20000条数据耗时0.166秒
生产第103批20000条数据耗时:0.001秒
InnoDB第103批插入20000条数据耗时0.483秒
生产第104批20000条数据耗时:0.002秒
InnoDB第104批插入20000条数据耗时0.161秒
生产第105批20000条数据耗时:0.001秒
InnoDB第105批插入20000条数据耗时0.181秒
生产第106批20000条数据耗时:0.001秒
InnoDB第106批插入20000条数据耗时0.161秒
生产第107批20000条数据耗时:0.001秒
InnoDB第107批插入20000条数据耗时0.18秒
生产第108批20000条数据耗时:0.003秒
InnoDB第108批插入20000条数据耗时0.178秒
生产第109批20000条数据耗时:0.001秒
InnoDB第109批插入20000条数据耗时0.182秒
生产第110批20000条数据耗时:0.001秒
InnoDB第110批插入20000条数据耗时0.198秒
生产第111批20000条数据耗时:0.001秒
InnoDB第111批插入20000条数据耗时0.124秒
生产第112批20000条数据耗时:0.001秒
InnoDB第112批插入20000条数据耗时0.115秒
生产第113批20000条数据耗时:0.001秒
InnoDB第113批插入20000条数据耗时0.379秒
生产第114批20000条数据耗时:0.001秒
InnoDB第114批插入20000条数据耗时0.124秒
生产第115批20000条数据耗时:0.001秒
InnoDB第115批插入20000条数据耗时0.128秒
生产第116批20000条数据耗时:0.001秒
InnoDB第116批插入20000条数据耗时0.126秒
生产第117批20000条数据耗时:0.001秒
InnoDB第117批插入20000条数据耗时0.24秒
生产第118批20000条数据耗时:0.001秒
InnoDB第118批插入20000条数据耗时0.375秒
生产第119批20000条数据耗时:0.003秒
InnoDB第119批插入20000条数据耗时0.16秒
生产第120批20000条数据耗时:0.001秒
InnoDB第120批插入20000条数据耗时0.118秒
生产第121批20000条数据耗时:0.001秒
InnoDB第121批插入20000条数据耗时0.179秒
生产第122批20000条数据耗时:0.001秒
InnoDB第122批插入20000条数据耗时0.161秒
生产第123批20000条数据耗时:0.002秒
InnoDB第123批插入20000条数据耗时0.208秒
生产第124批20000条数据耗时:0.002秒
InnoDB第124批插入20000条数据耗时0.229秒
生产第125批20000条数据耗时:0.001秒
InnoDB第125批插入20000条数据耗时0.117秒
生产第126批20000条数据耗时:0.001秒
InnoDB第126批插入20000条数据耗时0.188秒
生产第127批20000条数据耗时:0.001秒
InnoDB第127批插入20000条数据耗时0.128秒
生产第128批20000条数据耗时:0.001秒
InnoDB第128批插入20000条数据耗时0.12秒
生产第129批20000条数据耗时:0.001秒
InnoDB第129批插入20000条数据耗时0.229秒
生产第130批20000条数据耗时:0.002秒
InnoDB第130批插入20000条数据耗时0.23秒
生产第131批20000条数据耗时:0.001秒
InnoDB第131批插入20000条数据耗时0.125秒
生产第132批20000条数据耗时:0.001秒
InnoDB第132批插入20000条数据耗时0.123秒
生产第133批20000条数据耗时:0.001秒
InnoDB第133批插入20000条数据耗时0.168秒
生产第134批20000条数据耗时:0.002秒
InnoDB第134批插入20000条数据耗时0.264秒
生产第135批20000条数据耗时:0.001秒
InnoDB第135批插入20000条数据耗时0.216秒
生产第136批20000条数据耗时:0.001秒
InnoDB第136批插入20000条数据耗时0.119秒
生产第137批20000条数据耗时:0.001秒
InnoDB第137批插入20000条数据耗时0.164秒
生产第138批20000条数据耗时:0.002秒
InnoDB第138批插入20000条数据耗时0.197秒
生产第139批20000条数据耗时:0.001秒
InnoDB第139批插入20000条数据耗时0.209秒
生产第140批20000条数据耗时:0.001秒
InnoDB第140批插入20000条数据耗时0.416秒
生产第141批20000条数据耗时:0.001秒
InnoDB第141批插入20000条数据耗时0.145秒
生产第142批20000条数据耗时:0.001秒
InnoDB第142批插入20000条数据耗时0.206秒
生产第143批20000条数据耗时:0.001秒
InnoDB第143批插入20000条数据耗时0.139秒
生产第144批20000条数据耗时:0.001秒
InnoDB第144批插入20000条数据耗时0.48秒
生产第145批20000条数据耗时:0.001秒
InnoDB第145批插入20000条数据耗时0.16秒
生产第146批20000条数据耗时:0.002秒
InnoDB第146批插入20000条数据耗时0.205秒
生产第147批20000条数据耗时:0.001秒
InnoDB第147批插入20000条数据耗时0.14秒
生产第148批20000条数据耗时:0.001秒
InnoDB第148批插入20000条数据耗时0.212秒
生产第149批20000条数据耗时:0.001秒
InnoDB第149批插入20000条数据耗时0.329秒
生产第150批20000条数据耗时:0.003秒
InnoDB第150批插入20000条数据耗时0.171秒
生产第151批20000条数据耗时:0.001秒
InnoDB第151批插入20000条数据耗时0.177秒
生产第152批20000条数据耗时:0.001秒
InnoDB第152批插入20000条数据耗时0.139秒
生产第153批20000条数据耗时:0.001秒
InnoDB第153批插入20000条数据耗时0.283秒
生产第154批20000条数据耗时:0.001秒
InnoDB第154批插入20000条数据耗时0.182秒
生产第155批20000条数据耗时:0.002秒
InnoDB第155批插入20000条数据耗时0.261秒
生产第485批20000条数据耗时:0.001秒
InnoDB第485批插入20000条数据耗时0.139秒
生产第486批20000条数据耗时:0.001秒
InnoDB第486批插入20000条数据耗时0.182秒
生产第487批20000条数据耗时:0.001秒
InnoDB第487批插入20000条数据耗时0.122秒
生产第488批20000条数据耗时:0.001秒
InnoDB第488批插入20000条数据耗时0.124秒
生产第489批20000条数据耗时:0.001秒
InnoDB第489批插入20000条数据耗时0.173秒
生产第490批20000条数据耗时:0.001秒
InnoDB第490批插入20000条数据耗时0.544秒
生产第491批20000条数据耗时:0.001秒
InnoDB第491批插入20000条数据耗时0.123秒
生产第492批20000条数据耗时:0.001秒
InnoDB第492批插入20000条数据耗时0.119秒
生产第493批20000条数据耗时:0.001秒
InnoDB第493批插入20000条数据耗时0.148秒
生产第494批20000条数据耗时:0.001秒
InnoDB第494批插入20000条数据耗时0.465秒
生产第495批20000条数据耗时:0.001秒
InnoDB第495批插入20000条数据耗时0.124秒
生产第496批20000条数据耗时:0.001秒
InnoDB第496批插入20000条数据耗时0.149秒
生产第497批20000条数据耗时:0.001秒
InnoDB第497批插入20000条数据耗时0.139秒
生产第498批20000条数据耗时:0.001秒
InnoDB第498批插入20000条数据耗时0.297秒
生产第499批20000条数据耗时:0.001秒
InnoDB第499批插入20000条数据耗时0.416秒
生产第500批20000条数据耗时:0.003秒
InnoDB第500批插入20000条数据耗时0.163秒
InnoDB总生产数据耗时0.582秒
InnoDB总插入数据耗时97.097秒
对比可以看到,原生SQL批量添加1000W条数据,用时97.097秒。极大的提高了数据写入的速度。大数据的导入,有一种常用情况,就是读取其他文件,比如csv文件,或者txt文件,然后存储数据到数据,这时候,应该用原生PHP去读取数据,然后用原生SQL去往数据库写入,避免使用框架,对数据插入的速度造成影响。

猜你喜欢

转载自blog.csdn.net/yuexiage1/article/details/80704108