与 laravel 在处理数百万条记录时使用块的普通查询构建器相比，Laravel Eloquents 和使用块是不是更慢？

Posted 2023-03-14

【中文标题】与 laravel 在处理数百万条记录时使用块的普通查询构建器相比，Laravel Eloquents 和使用块是不是更慢？

【英文标题】：Is Laravel Eloquents along with using chunks are slower compare to laravel's normal query builders with chunks while working with millions of records?与 laravel 在处理数百万条记录时使用块的普通查询构建器相比，Laravel Eloquents 和使用块是否更慢？

【发布时间】：2016-10-25 09:47:52

【问题描述】：

我真的是开发 Web 应用程序的新手，因此使用 laravel 并学习它们，所以我原谅我的非常简单的问题......但是如果有人回答我这些问题并帮助我了解这些东西，这将非常有帮助...

首先让我描述一下我的表结构：

我正在使用，mysql 的 InnoDB……而这张表目前存储了大约 13k 条记录，未来将用于存储数百万甚至数十亿条记录……

现在将我的问题描述如下：

当我从这个表中获取所有记录时，即 13k 条记录，使用 laravel 的普通查询生成器使用块（以下代码描述了我获取记录的方式），我在 1.39 秒内得到结果，这很好，但实际上应该更多高效（这些结果可能是因为我的系统内存有限，我没有在高端系统上测试过），但是，如果我在这里也犯了错误，请告诉我。

DB::table($tableName->dataTableName)->orderBy('id')->chunk(100, function($data) 
    foreach ($data as $record) 
        echo "DateTime: " .$record->DateTime. " id: ".$record->meter_id;
    
)

当我使用块（以下代码描述，我使用 eloquent 获取记录的方式）对 eloquent 执行相同操作时，即使 60 秒后我也没有得到完整的结果，这是完全不可接受的......

Data::orderBy('id')->chunk(100, function($data) 
    foreach ($data as $record) 
        echo "DateTime: " .$record->DateTime. " id: ".$record->meter_id
    
)

我确实使用data模型中的其他模型来获取表名...以下是data模型的内容...

<?php namespace App;

use Illuminate\Database\Eloquent\Model;
use App\dataTableMaster as DataTableMaster;
use App\Company;

class Data extends Model 

    /**
     * The database table used by the model.
     *
     * @var string
     */
    protected $table = 'data';

//========This following constructor assigns table name depending upon client which has logged in... ===============
    public function __construct()
        $user = \Auth::user();
        $associatedIdOfUser = $user->asso_id;
        $associatedCompanyObjectOfUser = Company::where('id',$associatedIdOfUser)->first();
        $companyRoot = $associatedCompanyObjectOfUser->getRoot();
        $tableObject = DataTableMaster::where('company_id',$companyRoot->id)->orderBy('created_at','desc')->first();
        $this->table = $tableObject->dataTableName;
    

现在，我的问题是：

eloquents 真的比普通查询构建器慢吗，因为 eloquents 创建结果的对象，后来不这样做。？？ 如果 eloquent 与查询构建器相比并不慢很多，即 eloquent 也可以像查询构建器那样有效地获取数千或数百万条记录
我在这里犯了什么错误，因此我遇到了问题？它是表结构还是方式，我正在获取记录还是它是什么？请解释一下。 使用 eloquent 处理这么大的表是否可取？
如果 eloquent 在处理数百万条记录时确实比使用什么方法更慢且不建议使用，那么我们可以处理数百万个表，是否只有通过查询构建器才能使用它们？还有，为什么它们变慢了，是因为它创建了对象还是原因是别的什么？？

【问题讨论】：

data 模型是否有包含其他模型的protected $with = []？此外，您可以使用debugbar，这对于使用 Laravel 的开发人员来说非常有用。

不，它不包含受保护的$with...但是我使用其他模型来设置protected $table = $tableName

我添加了相关数据模型的内容...

您的构造函数每次都在进行查询。这会减慢您的 Eloquent 查询速度。

哦.. 我的data 模型表对于不同的用户是不同的，你可能从代码中得到了.. 那么，我应该如何在data 模型中实现呢？？

【参考方案1】：

使用 Eloquent 比直接使用查询生成器慢大约 3 倍 (benchmarks)。 ORM 必须将数据映射到对象，所以它总是比较慢，没有办法。

如果您打算处理数百万条记录，请忘记 ORM。它不再为你而存在。您必须进行自定义查询。

按 100 分块是不够的。我发现增加到 5000 是安全的。您可以通过监控内存使用来增加或减少这个数字。

请记住，sql 比 php 快，所以在 sql 中尽可能多地做。请记住只选择您需要的字段 - 它会降低内存使用量。

Order by 在大型数据集上很慢，因为它可能在文件系统而不是内存中进行排序。

DB::table('data')->select('DateTime', 'meter_id')->chunk(5000, function($data) 
    foreach ($data as $record) 
        echo "DateTime: " .$record->DateTime. " id: ".$record->meter_id;
    
);

根据您的设置，echo 可以大大减慢速度。