PHP导出100万数据到excel

Posted 2023-05-01

参考技术A php导出数据excel有专门的库，当导出少量数据的时候速度很快，但是当数据量大的时候就会存在服务器内存不够之类的。
所以在导出大量数据的时候就应该分页查询数据，避免服务器宕机。正好PHP提供了fputcsv函数可以将数据写入到csv文件中。

这样我们就可以使用PHP对数据进行分页查询，再写入到csv文件中。

面试官问百万数据excel导出功能如何实现？

文章目录

• 背景
• 实现
• • 1.异步处理
  • • 1.1 使用job
    • 1.2 使用mq
  • 2.使用easyexcel
  • 4.多个sheet
  • 5.计算limit的起始位置
  • 6.文件上传到OSS
  • 7.通过WebSocket推送通知
  • 8.总条数可配置
  • 9.order by商品编号
  • 总结

背景

用户在UI界面上点击全部导出按钮，就能导出所有商品数据。

咋一看，这个需求挺简单的。

但如果我告诉你，导出的记录条数，可能有一百多万，甚至两百万呢？
这时你可能会倒吸一口气。因为你可能会面临如下问题：

1. 如果同步导数据，接口很容易超时。
2. 如果把所有数据一次性装载到内存，很容易引起OOM。
3. 数据量太大sql语句必定很慢。
4. 相同商品编号的数据要放到一起。
5. 如果走异步࿰