将sql查询存储在列表中时PHP内存耗尽

Posted 2023-02-25

【中文标题】将sql查询存储在列表中时PHP内存耗尽

【英文标题】：PHP Memory Exhaustion when storing sql query in list

【发布时间】：2021-09-10 08:27:41

【问题描述】：

我想要一个列表中的 SQL 查询结果，但由于它有很多数据，它会导致内存耗尽。

致命错误：允许的内存大小为 536870912 字节已用尽（尝试分配 20480 字节）

这就是我尝试的方式。有没有另一种方法不会导致内存耗尽？增加内存是不可取的，因为会出现更大的数据集。

$sql = $pdoconnect->query('SELECT id FROM contacts');
$id_liste = $sql->fetchAll();

我已经用循环尝试过，但结果是一样的：

while($row = $statement->fetch())
    $id_liste[] = $row['id'];  

【问题讨论】：

您的查询已使用 536 MB 并用尽了进程的分配内存。要么为进程分配更多内存，要么重新考虑方法。您真的需要在 RAM 中加载整个 ID 列表吗？

请告诉我们，当您将数据加载到 $id_liste[] 时，剩下的操作是什么？

我需要将整个 ID 列表保存在一个列表中。不知道有没有办法不加载到内存中

但是在将整个列表存储在列表中（在内存中）之后，下一步是什么？把它保存在某个地方？做排序/其他操作？

那么就在DB的层面上做，使用循环，一个接一个检索记录，并使用每个ID调用API并将数据插入另一个db表.无需同时将所有数据加载到内存中。

【参考方案1】：

使用生成器。这就是它们的设计目的。

像这样重写你的代码：

function fetchContacts()


   $result = $this->db->query('SELECT * FROM contacts');

   while($record = $result->fetch(PDO::FETCH_ASSOC)) 

       yield $record;

   


// Then elsewhere in your code where you actually use the contacts:
foreach (fetchContacts() as $contact) 
    // All of your code here.

php 将只使用每个字段而不是每个记录所需的内存。它应该可以工作。

另外，请尝试在您的 SQL 中使用 LIMIT，因为您可能不想一次处理所有 100,000 个联系人，对吧？