如何在 Django 自定义数据库函数调用周围避免 SQL 中的括号？

Posted 2023-02-24

【中文标题】如何在 Django 自定义数据库函数调用周围避免 SQL 中的括号？

【英文标题】：How to avoid brackets in SQL around Django custom database function call?

【发布时间】：2016-09-09 10:48:24

【问题描述】：

问题的简短介绍...

PostgreSQL 具有非常简洁的数组字段（int 数组、字符串数组）和函数，例如 UNNEST 和 ANY。 Django 支持这些字段（为此我使用djorm_pgarray），但函数本身不支持。 可以使用.extra()，但Django 1.8 引入了database functions 的新概念。

让我提供一个最原始的例子来说明我对所有这些的基本操作。 Dealer 有一个它支持的品牌列表。 Vehicle 有品牌并与经销商相关联。但碰巧Vehicle的make与Dealer的make list不匹配，这是不可避免的。

MAKE_CHOICES = [('honda', 'Honda'), ...]

class Dealer(models.Model):
    make_list = TextArrayField(choices=MAKE_CHOICES)

class Vehicle(models.Model):
    dealer = models.ForeignKey(Dealer, null=True, blank=True)
    make   = models.CharField(max_length=255, choices=MAKE_CHOICES, blank=True)

拥有一个经销商和品牌数据库，我想计算车辆品牌与其经销商品牌列表匹配的所有车辆。我就是这样避免.extra()。

from django.db.models import functions

class SelectUnnest(functions.Func):
    function = 'SELECT UNNEST'

...

Vehicle.objects.filter(
    make__in=SelectUnnest('dealer__make_list')
).count()

生成的 SQL：

SELECT COUNT(*) AS "__count" FROM "myapp_vehicle" 
INNER JOIN "myapp_dealer" 
  ON ( "myapp_vehicle"."dealer_id" = "myapp_dealer"."id" ) 
WHERE "myapp_vehicle"."make" 
  IN (SELECT UNNEST("myapp_dealer"."make_list"))

而且它有效，而且比我们可以在 Django 中使用的传统 M2M 方法快得多。但是，对于这个任务，UNNEST 不是一个很好的解决方案：ANY 更快。让我们试试吧。

class Any(functions.Func):
    function = 'ANY'

...

Vehicle.objects.filter(
    make=Any('dealer__make_list')
).count()

它会生成以下 SQL：

 SELECT COUNT(*) AS "__count" FROM "myapp_vehicle" 
 INNER JOIN "myapp_dealer" 
   ON ( "myapp_vehicle"."dealer_id" = "myapp_dealer"."id" )
 WHERE "myapp_vehicle"."make" = 
  (ANY("myapp_dealer"."make_list"))

它失败了，因为ANY 周围的大括号是假的。如果您删除它们，它会在psql 控制台中运行，没有任何问题，而且速度很快。

所以我的问题。

有什么办法可以去掉这些牙套吗？我在 Django 文档中找不到任何相关内容。 如果不是，-也许还有其他方法可以改写此查询？

P. S. 我认为针对不同后端的广泛数据库函数库对于数据库密集型 Django 应用程序非常有帮助。

当然，其中大部分都不可移植。但是您通常不会经常将这样的项目从一个数据库后端迁移到另一个。在我们的示例中，使用数组字段和 PostGIS，我们被困在 PostgreSQL 中并且不打算移动。

有人开发这样的东西吗？

P. P.S.有人可能会说，在这种情况下，我们应该为 make 和 intarray 使用单独的表而不是字符串数组，这是正确的并且会这样做，但问题的性质不会改变。

更新。

TextArrayField 定义在 djorm_pgarray。在链接的源文件中，您可以看到它是如何工作的。 该值为文本字符串列表。在 Python 中，它表示为一个列表。示例：['honda', 'mazda', 'anything else']。

这是数据库中关于它的说法。

=# select id, make from appname_tablename limit 3;
id | make
---+----------------------
58 | vw
76 | lexus,scion,toyota
39 | chevrolet

并且底层 PostgreSQL 字段类型是text[]。

【问题讨论】：

这是最有趣的，我认为虽然文档中没有明确提及，但 Func 及其子类只能用于聚合和注释，但不能用于过滤器。

我什至尝试重写 Func 中的 as_sql 方法，看看是否可以用它来去掉括号。但事实证明，括号是在别处添加的

@e4c5 是的，我也调查了源代码。也许有人对 Django ORM 内部有深入的了解，可以回答这个问题。

你用模板属性试过了吗？

为了问题的完整性，能否请您添加 TextArrayField 定义以及那里存储的数据（字符串数组、字符串数组数组，也许是示例值）？

【参考方案1】：

我已经设法（或多或少）通过以下方式获得了您需要的东西：

from django.db.models.lookups import BuiltinLookup
from django.db.models.fields import Field

class Any(BuiltinLookup):
    lookup_name = 'any'

    def get_rhs_op(self, connection, rhs):
       return " = ANY(%s)" % (rhs,)

Field.register_lookup(Any)

和查询：

Vehicle.objects.filter(make__any=F('dealer__make_list')).count()

结果：

SELECT COUNT(*) AS "__count" FROM "zz_vehicle"
  INNER JOIN "zz_dealer" ON ("zz_vehicle"."dealer_id" = "zz_dealer"."id")
    WHERE "zz_vehicle"."make"  = ANY(("zz_dealer"."make_list"))

顺便说一句。代替 djorm_pgarray 和 TextArrayField 你可以使用原生 django：

make_list = ArrayField(models.CharField(max_length=200), blank=True)

（简化你的依赖）

【讨论】：

非常感谢。我根本没有考虑自定义数据库查找。我们一定会使用这种方法。再次感谢您，这非常酷。