Python函数调用与数据库查询(django ORM)开销

Posted

技术标签:

【中文标题】Python函数调用与数据库查询(django ORM)开销【英文标题】:Python function call vs database query (django ORM) overhead 【发布时间】:2021-04-25 20:48:39 【问题描述】:

在 Django 项目中工作时,当我发现如果我使用函数调用(例如datetime.today())可以减少某些情况下的数据库查询,据我所知,我选择这样做是为了提高效率,数据库查询是生产环境中最昂贵的操作。

我说得对吗?考虑一个有数十万条记录的 postgres 数据库,我使用 datetime.today() 函数并检查它是否是今天,如果不是,则不要运行数据库查询(filter exists() query)。 一直进行数据库查询也符合我的逻辑目的,但我添加 datetime 函数调用只是为了提高效率,因为仅在今天进行查询对于这种情况就足够了。这段代码在循环中。

这种方法会比一直进行数据库查询更有效吗?

【问题讨论】:

【参考方案1】:

一般来说,数据库查询会比 python 函数或 django 更快,因为与 python 相比,数据库的级别非常低。

这部分是由于 python 有许多不同的抽象,系统必须通过它们来执行功能,而数据库通常都是用低级语言创建的(postgresql 是用 C 创建的,通常称为仍然可用于编程的最低级语言)。

此外,python 没有被编译而是被解释,这意味着它永远不会转换为更快的汇编代码,而是由虚拟机解释的字节码,而数据库是用 c 编译成直接在 CPU 上运行的汇编

如果您想节省时间并进行优化,我建议您查看caching framework,就好像您每天运行一次此查询一样,您可以将其添加到缓存中并在一天到期后进行检查

编辑:

检查benchmark django ORM 可以管理大约 2073.64 分钟获取事务大约每 30 毫秒 1 次,而 datetime benchmarks 显示它可以在 0.01 毫秒内解析,所以在这种情况下它可能是 datetime.today

【讨论】:

但是数据库查询将通过 django-orm 进行,我认为这是一种函数调用,但我不完全确定。我们还必须考虑 django-orm 开销,而不仅仅是 postgres 开销。在所有这些之后,orm 查询会比函数调用更快吗? 我已经更新了答案,使用基准测试似乎 datetime 可能是更好的选择,除非你想使用缓存

以上是关于Python函数调用与数据库查询(django ORM)开销的主要内容,如果未能解决你的问题,请参考以下文章

如何在返回的 AJAX 调用上使用 django 模板标签?

Django 网站优化:对核心 python 函数的调用过多?

Django实现数据级联操作

django查询集

Python Profiling - 我的代码之外的汇总函数调用

python脚本调用jdango orm映射的方法