php thinkphp5.1 导出百万数据方案

先说一下一般我们在执行大数据操作时，遇到最常见的问题就是：
1、执行超时参考这里
2、内存溢出参考这里

看了这两个之后再来看这个方案，实现思路大概是：

先利用set_time_limit(0)不限制执行时间
将要查询的数据分段查询，每次查询创建一个csv临时文件，每次清空缓冲区
数据全部写完之后将所有csv文件合并成一个csv文件
合并之后利用zip扩展进行打包下载（如果没有安装此扩展，请先去安装扩展）
最后将所有生成的文件删除

安装扩展，PHP开启自带的ZipArchive类，实现压缩解压功能

Windows环境：

首先需要从官网上下载，下载地址 https://windows.php.net/downloads/pecl/releases/zip/
打开官网列表后需要查找适合自己的PHP版本和系统的zip，我的PHP版本是5.5的，这里我选择的版本号是1.13.5
下载完后解压，把里面的php_zip.dll文件放到PHP的扩展文件夹里

扩展文件夹路径一般都是在PHP版本文件夹里的ext文件夹，譬如我的就是D:\php-5.5.38\ext

把php_zip.dll文件放进去后，打开PHP的配置文件php.ini，添加extension=php_zip.dll，保存后，重启apache服务器

Linux环境：
1、在Linux下没有php_zip.dll这个文件(有也不会起作用的),所以需要重新编译一下php的zip模块。具体安装方法如下:

cd /usr/src

wget http://pecl.php.net/get/zip

tar -zxvf zip

cd zip-1.x.x

phpize

./configure

make

sudo make instal

其中, 在最后使用make install命令的时候,可能需要用到root的权限,所以建议使用sudo来运行。安装完之后,屏幕上会提示zip.so的位置。然后将其记录下来,如:/usr/local/lib/php/extensions/zip.so。

2、使用root权限修改php.ini(通常可能会在/usr/local/lib/文件夹下,不过视当初安装php而定,可以通过phpinfo()来查看):

增加extension = /usr/local/lib/php/extensions/zip.so,然后同样在php.ini文件中,将 zlib.output_compression = Off 改为 zlib.output_compression = On ;

3、最后别忘了重启一下Apache:apachectl restart;

这个针对php的zip模块就安装完成了,能够在php中使用ZipArchive类了。

    /**
     * 百万级数据导出
     */
    public function excelout(){
        //不限制执行时间，以防超时
        set_time_limit(0);
        //文件名
        $xlsName = '名字'.date('Ymd His');
        //统计总行数
        $sqlCount = 0;

        //表头
        $xlsCell = ['姓名','性别','年龄','电话','QQ','地址'];
        //对应表头的字段
        $fields = 'name,sex,age,tel,qq,address';

        //统计总行数
        $sqlCount = UserModel::count();

        //每次取多少条
        $sqlLimit = 2000;//每次只从数据库取2000条

        // buffer计数器
        $cnt = 0;

        $fileNameArr = array();

        //分段执行,以免内存写满
        for ($i = 0; $i < ceil($sqlCount / $sqlLimit); $i++) {
            $fp = fopen($xlsName . '_' . $i . '.csv', 'w'); //生成临时文件

            $fileNameArr[] = $xlsName . '_' .  $i . '.csv';//将临时文件保存起来

            //第一次执行时将表头写入
            if($i == 0){
                fputcsv($fp, $xlsCell);
            }

            //查询出数据
            $xlsData = UserModel::field($fields)
                ->limit($i * $sqlLimit,$sqlLimit)
                ->select()->toArray();

            foreach ($xlsData as $k=>$v) {
                $cnt++;

                //执行下一次循环之前清空缓冲区
                if ($sqlLimit == $cnt) {
                    ob_flush();
                    $cnt = 0;
                }

                //每行写入到临时文件
                fputcsv($fp, $v);
            }
            fclose($fp);  //每生成一个文件关闭
        }

        //将所有临时文件合并成一个
        foreach ($fileNameArr as $file){
            //如果是文件，提出文件内容，写入目标文件
            if(is_file($file)){
                $fileName = $file;
                //打开临时文件
                $handle1 = fopen($fileName,'r');
                //读取临时文件
                if($str = fread($handle1,filesize($fileName))){
                    //关闭临时文件
                    fclose($handle1);
                    //打开或创建要合并成的文件，往末尾插入的方式添加内容并保存
                    $handle2 = fopen($xlsName.'.csv','a+');
                    //写入内容
                    if(fwrite($handle2, $str)){
                        //关闭合并的文件，避免浪费资源
                        fclose($handle2);
                    }
                }
            }
        }

        //将文件压缩，避免文件太大，下载慢
        $zip = new \ZipArchive();
        $filename = $xlsName . ".zip";
        $zip->open($filename, \ZipArchive::CREATE);   //打开压缩包
        $zip->addFile($xlsName.'.csv', basename($xlsName.'.csv'));   //向压缩包中添加文件
        $zip->close();  //关闭压缩包

        foreach ($fileNameArr as $file) {
            unlink($file); //删除csv临时文件
        }

        //输出压缩文件提供下载
        header("Cache-Control: max-age=0");
        header("Content-Description: File Transfer");
        header('Content-disposition: attachment; filename=' . basename($filename)); // 文件名
        header("Content-Type: application/zip"); // zip格式的
        header("Content-Transfer-Encoding: binary"); //
        header('Content-Length: ' . filesize($filename)); //
        @readfile($filename);//输出文件;
        unlink($filename); //删除压缩包临时文件
        unlink($xlsName.'.csv'); //删除合并的临时文件
    }