PHP导出大量数据到csv表

Posted 2020-11-13 搬砖小伙子

对于做后台开发的码农来说，从excel导入数据到数据库亦或者是从数据库导出数据到excel都是很常见的操作。由于经常遇到这样的场景，也因为从数据库导出数据到表格所遇到的坑有很多，所以需要另辟途径来进行这种场景优化。

如果是小量的数据导出到excel的表格的话，一般不会有太多效率和资源占用的问题，但是当数据量变得庞大了，例如20万或者50万的时候就会造成php处理的瓶颈，要么内存溢出要么脚本运行超时。当然PHP是相对于比较灵活的，大可在方法运行的时候单独更改超时时间和脚本运行内存。但是这都是于事无补的，一般xls的格式最大支持六万行的数据左右，所以到了六万行的时候就凉凉了。

后续查阅资料发现csv是可以支持无限行数的，只要你的电脑能支持打开就能不断的往里面塞数据。

CSV格式文件最大行数是没有上限的，在国外科学数据网站下载的CSV文件有几十G上百G，行数多大几十亿上百亿行；但是大文件CSV打开编辑的软件就基本没有，Excel、wps、openoffice紧支持打开编辑前面1048576行；snapde软件支持的行数多一些，一次可以打开编辑一两千万行的CSV数据，速度超快。

代码

<?php
public function exportWarehouseManagementToExcel()
    {
        ini_set(‘max_execution_time‘, 300);// 设置PHP超时时间
        ini_set(‘memory_limit‘, ‘2048M‘);// 设置PHP临时允许内存大小
        $querySql = "SELECT * FROM fsyz_cpInventory WHERE 1=1";//导出所有的数据
        $queryResult = $this->db->query($querySql)->result_array();

        //路径
        $fileName = ‘车管驻点业务寄递仓库管理所有数据‘ . date(‘Ymd_His‘) . ‘.csv‘;
        $filePath = ‘excel/‘ . $fileName;
        $index = 0;
        $fp = fopen($filePath, ‘w‘); //生成临时文件
        chmod($filePath, 0777);//修改可执行权限
        // 将数据通过fputcsv写到文件句柄
        $header = array(‘车牌号码‘, ‘车牌类型‘, ‘所在区域‘, ‘状态‘, ‘入库时间‘);//设置表头
        fputcsv($fp, $header);
        //处理导出数据
        foreach ($queryResult as $key => &$val) {
            foreach ($val as $k => $v) {
                $val[$k] = $v . "	";
                if ($index == 10000) { //每次写入1000条数据清除内存
                    $index = 0;
                    ob_flush();//清除内存
                    flush();
                }
                $index++;
            }
            fputcsv($fp, $val);
        }
        ob_flush();
        fclose($fp);  //关闭句柄
        header("Cache-Control: max-age=0");
        header("Content-type:application/vnd.ms-excel;charset=UTF-8");
        header("Content-Description: File Transfer");
        header(‘Content-disposition: attachment; filename=‘ . basename($fileName));
        header("Content-Type: text/csv");
        header("Content-Transfer-Encoding: binary");
        header(‘Content-Length: ‘ . filesize($filePath));
        @readfile($filePath);//输出文件;
        unlink($filePath); //删除压缩包临时文件
        echo $filePath;
        return;
    }

转载：

 https://199508.com/post/2064