PHP百万级数据导出方案
PHPPHP 百万级数据导出方案（多百万级数据导出方案（多 csvcsv 文件压缩）实例讲解文件压缩）实例讲解概述：概述：最近公司项目要求把数据除了页面输出也希望有导出功能，虽然之前也做过几个导出功能，但这次数据量相对比较大，差不多一天数据就 20W 条，要求导 7 天或者 30 天，那么数据量就轻松破百万了甚至破千万，因此开发的过程中发现了一些大数据导出的坑，在此跟大家分享一下，互相学习。准备：准备：1 1、PHPPHP 设置坑：设置坑：set_time_limit 设置脚本最大执行时间：此配置一般 PHP 默认是 30 秒，如果你是数据小的，可能就不会发现有该设置问题，但如果你数据达到了百万级导出，往往 30 秒是不够的，因此你需要在你的脚本中添加 set_time_limit(0)，让该脚本没有执行时间现在memory_limit PHP 的内存限定：此配置一般 php 默认是 128M,如果之前做过小数据的朋友可能也会动过这个配置就能解决许多问题，或许有人想，你大数据也把这个调大不就行了吗？那么真的是 too young too native 了，你本地能设置 1G 或者无限制或许真的没问题，但是正式场，你这么搞迟早会出事的，一个 PHP 程序占那么大的内存的空间，如果你叫你公司运维帮忙调一下配置，估计运维一定很不情愿，服务器硬件这么搞也是太奢侈了。所以说，我们要尽量避免调大该设置。2 2、excelexcel 坑：坑：既然是导出数据，大伙们当然马上想到了 excel 格式了，多方便查看数据呀，然而万万没想到 excel 也是有脾气的呀！ 表数据限制：?1 2Excel 2003 及以下的版本。一张表最大支持 65536 行数据，256 列。 Excel 2007-2010 版本。一张表最大支持 1048576 行，16384 列。也就是说你想几百万条轻轻松松一次性导入一张 EXCEL 表是不行的，你起码需要进行数据分割，保证数据不能超过 104W 一张表。PHPexcel 内存溢出：既然数据限制在 104W，那么数据分割就数据分割呗，于是你尝试 50W 一次导入表，然而 PHPexcel 内部有函数报内存溢出错误，然后你就不断的调小数据量，直到 5W 一次导入你都会发现有内存溢出错误。这是为什么呢，虽然你分割数据来导入多个数据表，但是最后 PHPexcel 内部还是一次性把所有表数据放进一个变量中来创建文件额，这几百万数据一个变量存储，你想内存不溢出，还真有点困难。（后来看了一些文章发现 PHPExcel 也有解决方案，PHPExcel_Settings:setCacheStorageMethod 方法更改缓冲方式来减小内存的使用）3 3、csvcsv 坑：坑：EXCEL 这么麻烦，我不用还不行吗？我用 csv 文件储存，既不限制数量，还能直接用EXCEL 来查看，又能以后把文件导入数据库，一举几得岂不是美哉？咦，少侠好想法！但是 CSV 也有坑哦！输出 buffer 过多：当你用 PHP 原生函数 putcsv()其实就使用到了输出缓存 buffer，如果你把几百万的数据一直用这个函数输出，会导致输出缓存太大而报错的，因此我们每隔一定量的时候，必须进行将输出缓存中的内容取出来，设置为等待输出状态。具体操作是：? 1 2ob_flush(); flush();具体说明介绍：PHP flush()与 ob_flush()的区别详解EXCEL 查看 CSV 文件数量限制：大多数人看 csv 文件都是直接用 EXCEL 打开的。额，这不就是回到 EXCEL 坑中了吗？EXCEL 有数据显示限制呀，你几百万数据只给你看 104W 而已。什么？你不管？那是他们打开方式不对而已？不好不好，我们解决也不难呀，我们也把数据分割一下就好了，再分开csv 文件保存，反正你不分割数据变量也会内存溢出。4 4、总结做法、总结做法分析完上面那些坑，那么我们的解决方案来了，假设数据量是几百万。1、那么我们要从数据库中读取要进行数据量分批读取，以防变量内存溢出，2、我们选择数据保存文件格式是 csv 文件，以方便导出之后的阅读、导入数据库等操作。3、以防不方便 excel 读取 csv 文件，我们需要 104W 之前就得把数据分割进行多个csv 文件保存4、多个 csv 文件输出给用户下载是不友好的，我们还需要把多个 csv 文件进行压缩，最后提供给一个 ZIP 格式的压缩包给用户下载就好。代码：代码：? 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27/导出说明:因为 EXCEL 单表只能显示 104W 数据，同时使用 PHPEXCEL 容易因为数据 量太大而导致占用内存过大，/因此，数据的输出用 csv 文件的格式输出，但是 csv 文件用 EXCEL 软件读取同样 会存在只能显示 104W 的情况，所以将数据分割保存在多个 csv 文件中，并且最后压缩 成 zip 文件提供下载function putCsv(array $head, $data, $mark = 'attack_ip_info', $fileName = “test.csv“)set_time_limit(0);$sqlCount = $data->count();/ 输出 Excel 文件头，可把 user.csv 换成你要的文件名 www.rodlg.comheader('Content-Type: application/vnd.ms-excel;charset=utf- 8');header('Content-Disposition: attachment;filename=“' . $fileName . '“');header('Cache-Control: max-age=0');$sqlLimit = 100000;/每次只从数据库取 100000 条以防变量缓存太大/ 每隔$limit 行，刷新一下输出 buffer，不要太大，也不要太小$limit = 100000;/ buffer 计数器$cnt = 0;$fileNameArr = array();/ 逐行取出数据，不浪费内存 www.482223.comfor ($i = 0; $i offset($i * $sqlLimit)- >limit($sqlLimit)->get()->toArray();foreach ($dataArr as $a) $cnt+;if ($limit = $cnt) /刷新一下输出 buffer，防止由于数据过多造成问题ob_flush();flush();$cnt = 0;fputcsv($fp, $a);fclose($fp); /每生成一个文件关闭/进行多个文件压缩$zip = new ZipArchive();$filename = $mark . “.zip“;$zip->open($filename, ZipArchive:CREATE); /打开压缩包foreach ($fileNameArr as $file) $zip->addFile($file, basename($file); /向压缩包中添加文件$zip->close(); /关闭压缩包foreach ($fileNameArr as $file) unlink($file); /删除 csv 临时文件 www.267774.com/输出压缩文件提供下载header(“Cache-Control: max-age=0“);header(“Content-Description: File Transfer“);header('Content-disposition: attachment; filename=' . basename($filename); / 文件名header(“Content-Type: application/zip“); / zip 格式的header(“Content-Transfer-Encoding: binary“); /header('Content-Length: ' . filesize($filename); /readfile($filename);/输出文件;unlink($filename); /删除压缩包临时文件总结：总结：其实上面代码还是有优化的空间的，比如说用异常捕捉，以防因为某些错误而导致生成了一些临时文件又没有正常删除，还有 PHPexcel 的缓存设置也许能解决内存溢出问题，可以生成一个 EXCEL 文件多个工作表的形式，这样对于文件阅读者来说更友好。
