php按照查询条件大数据量进行导出,如果进行有效率导出

对php来说将一些配置信息数组保存到文件中是司空见惯的情况,就我目前所知,有以下几种保存方法

  1. 直接用var_export写成return array(...);的php代码,然后读取的时候用require解析即可。
  2. 使用serialize函数序列化一个数组,然后读取的时候用unserialize反序列化
  3. 使用json_encode序列化一个数组,然后读取的时候用json_decode反序列化
  4. 使用其它的文件格式,比如yaml或者ini

 

由于用到了比较多的数组,所以想搞清楚php的array和session的容量到底有多大,其实主要是想验证一下之前我听说的array的容量是跟配置有关这一说法的正确性。

array的验证代码程序:

$arr=array();//这一行可以省去的,我是比较奉行java中的先声明后使用原则
        for ($i=0;$i<8000000;$i++){
              $arr[$i]=$i;
        }

echo count($arr);
       unset($arr);

session的验证代码程序:

ession_start(); 
       for ($i=0;$i<8000000;$i++){
              $_SESSION[$i]=$i;
       } 

echo count($_SESSION);

运行上面的程序后,会出现下面的错误提示:

注:此时我php.ini中memory_limit值的配置是10M

然后 接下来我的验证方法是把php.ini中memory_limit的值改为1000M,然重启apache,再次运行上面的验证程序,则可以正常输出array和session的大小值。

难道不是我修改了php.ini的原因,是其他巧合问题导致的正常?我要再次验证一下是不是php.ini中memory_limit配置的原因,我把该值重新配置为10M,重启apache后,然后再次运行上面的验证程序,结果的确又报上面的内存不足异常了。现在我相信了array和session的容量大小的确是跟php.ini中memory_limit的配置有关的。
不过我最大的一次配置该值的大小为1300M,运行验证程序后我的电脑几乎处于休眠状态,呵呵,下面是性能占用图:

 

在excel导出,大量数据按查询条件导出,我想到了session和文件存储按查询导出的数据。

如果按照session导出,我当初想到如果直接将最终查询sql存放在session中,但是在导出时候,仍然需要跟数据库交互,数据量太大,还是影响读取速度,对用户不是很友好,所以我想到将查询获取的数组放在数组存放在session中,经过上述测试是不可取的。

最终我想到将查询获取的数组以json形式存放在文件中,在导出进行读取,直接处理数组,结果方法是可行的。

当然也可以借助其他语言进行导出,比如python进行导出,效率还是不错的。

以上仅为我的个人验证观点,仅为分享使用,验证方法肯定存在不足,所以请大家指导,非常感谢,

猜你喜欢

转载自xialluyouyue.iteye.com/blog/2210082
今日推荐