大于500M的SQL文档如何打开

开始接触到大数据的问题了,在实验室中遇到一个700多M的SQL文档,之前看似简单的问题和技术手段都已经不能应付实战了。

首先用MYSQL的一个ADMIN工具中的restore功能,发现表结构不对,4。0到5。0都不是TYPE=MyISAM 而是 ENGINE=MyISAM了。

然后想到打开吧,TXT打不开,WORD超500M了,WORD6。0倒是能打开,慢的要死,改就更别提了。后来又想到用4。0的数据库先导进去再说,网上可能有不过找了没找着也就作罢了。又突发其想用压缩软件的分割功能,结果是分开了,可是打不开!

最后又隔了一段时间偶然看到了橘子这款软件,抱着死马当活马依试试呗,其实看到这么小的软件也没报多大希望,因为之前用过一些,自己写都行,不过可能还是数据大了,原来那些实验室和书本方法等都解决不了问题。

其实这款软件也只不过能在内存中驻扎260多M,不过还是够了,因为表结构是在文件开头部分写的,改了表结构,后面INSERT语句就可以直接用原来的大文件导入了,运行的时候ignore错误就行了。

感觉磕磕碰碰的就这么一路走来的,还好算是将就搞掂了吧,最后一个SELECT全表近半分钟不到20万行记录显示在屏幕上的时候还是小激动了一下,另外再感谢一下做这款软件的人或是团队吧,好了,先到这里了。

猜你喜欢

转载自freshet.iteye.com/blog/1757086