Django model 遇到查询条件组合比较多的情况下怎么写
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Django model 遇到查询条件组合比较多的情况下怎么写相关的知识，希望对你有一定的参考价值。
参考技术A Model是django项目的基础,如果一开始没有好好设计好,那么在接下来的开发过程中就会遇到的问题.然而,大多数的开发人员都容易在缺少思考的情况下随意的增加或修改model.这样做的后果就是,在接下来的开发过程中,我们不得不做出努力来修正这些错误. 因此,在修改model时,一定尽可能的经过充分的考虑再行动!以下列出的是我们经常用到的一些工具和技巧: South,用于数据迁移,我们会在每个django项目中都用到.但到django1.7时,将会有django.db.migrations代替. django-model-utils,用于处理常见的模式,例如TimeStampedModel. django-extensions,主要用到shell_plus命令,该命令会在shell中自动载入所有的app的model 1.基本原则 第一,将model分布于不同的app中.如果你的django项目中,有一个app拥有超过20个model,那么,你就应当考虑分拆该app了.我们推荐每个app拥有不超过5个model. 第二,尽量使用ORM.我们需要的大多数数据库索引都能通过Object-Relational-Model实现,且ORM带给我们许多快捷方式,例如生成SQL语句,读取/更新数据库时的安全验证.因此,如果能使用简单的ORM语句完成的,应当尽量使用ORM.只有当纯SQL语句极大地简化了ORM语句时,才使用纯SQL语句.并且,在写纯SQL语句是,应当优先考虑使用raw(),再是extra(). 第三,必要时添加index.添加db_index=True到model中非常简单,但难的是理解何时应该添加.在建立model时,我们事先不会添加index,只有当以下情况时,才会考虑添加index: 在所有的数据库查询中使用率在10%-25%时 或当有真实的数据,或能正确估计出使用index后的效果确实满意时 第四,注意model的继承.model的继承在django中需要十分小心,django提供了三种继承方式,1.abstractbaseclass继承(不要和Pyhton标准库的abc模块搞混),2.多表(multi-table)继承,3.proxymodel继承.本回答被提问者采纳多对多的 Django Inline 生成重复查询
【中文标题】多对多的 Django Inline 生成重复查询【英文标题】：Django Inline for ManyToMany generate duplicate queries 【发布时间】：2017-04-01 15:17:15 【问题描述】：我的 django 管理员遇到了一些重大的性能问题。大量重复查询取决于我有多少内联。
models.py
class Setting(models.Model):
name = models.CharField(max_length=50, unique=True)
class Meta:
ordering = ('name',)
def __str__(self):
return self.name
class DisplayedGroup(models.Model):
name = models.CharField(max_length=30, unique=True)
position = models.PositiveSmallIntegerField(default=100)
class Meta:
ordering = ('priority',)
def __str__(self):
return self.name
class Machine(models.Model):
name = models.CharField(max_length=20, unique=True)
settings = models.ManyToManyField(
Setting, through='Arrangement', blank=True
)
class Meta:
ordering = ('name',)
def __str__(self):
return self.name
class Arrangement(models.Model):
machine = models.ForeignKey(Machine, on_delete=models.CASCADE)
setting = models.ForeignKey(Setting, on_delete=models.CASCADE)
displayed_group = models.ForeignKey(
DisplayedGroup, on_delete=models.PROTECT,
default=1)
priority = models.PositiveSmallIntegerField(
default=100,
help_text='Smallest number will be displayed first'
)
class Meta:
ordering = ('priority',)
unique_together = (("machine", "setting"),)
admin.py
class ArrangementInline(admin.TabularInline):
model = Arrangement
extra = 1
class MachineAdmin(admin.ModelAdmin):
inlines = (ArrangementInline,)
如果我在内联表单上添加了 3 个设置和 1 个额外设置，我有大约 10 个重复查询
SELECT "corps_setting"."id", "corps_setting"."name", "corps_setting"."user_id", "corps_setting"."tagged", "corps_setting"."created", "corps_setting"."modified" FROM "corps_setting" ORDER BY "corps_setting"."name" ASC
- Duplicated 5 times
SELECT "corps_displayedgroup"."id", "corps_displayedgroup"."name", "corps_displayedgroup"."color", "corps_displayedgroup"."priority", "corps_displayedgroup"."created", "corps_displayedgroup"."modified" FROM "corps_displayedgroup" ORDER BY "corps_displayedgroup"."priority" ASC
- Duplicated 5 times.
有人可以告诉我我在这里做错了什么吗？我花了 3 天时间试图自己解决问题，但没有运气。
当我有大约 50 个机器的内联设置时，问题会变得更糟，我将有大约 100 个查询。
Here is the screenshot
【问题讨论】：
【参考方案1】：2020 年编辑：
查看下面 @isobolev 的答案，谁接受了这个答案并对其进行了改进以使其更通用。 :)
这在 Django 中几乎是正常的行为——它不会为您进行优化，但它为您提供了不错的工具来自己完成。别担心，100 个查询并不是一个真正需要立即修复的大问题（我在一页上看到过 16k 个查询）。但是，如果您的数据量会迅速增加，那么处理它当然是明智的。
您将配备的主要武器是查询集方法select_related() 和prefetch_related()。真的没有必要深入研究它们，因为它们有很好的记录here，但只是一个一般指针：
当您查询的对象只有一个相关对象（FK 或 one2one）时，请使用 select_related()
当您查询的对象有多个相关对象（FK 或 M2M 的另一端）时，使用 prefetch_related()
你问如何在 Django admin 中使用它们？小学，我亲爱的华生。覆盖管理页面方法get_queryset(self, request)，使其看起来像这样：
from django.contrib import admin
class SomeRandomAdmin(admin.ModelAdmin):
def get_queryset(self, request):
return super().get_queryset(request).select_related('field1', 'field2').prefetch_related('field3')
编辑：阅读您的评论后，我意识到我对您问题的最初解释是绝对错误的。对于您的问题，我也有多种解决方案，如下所示：
我最常使用并推荐的简单方法：只需将 Django 默认选择小部件替换为 raw_id_field 小部件，不会进行任何查询。只需在内联管理员中设置raw_id_fields = ('setting', 'displayed_group') 即可。
但是，如果你不想去掉选择框，我可以给出一些半hacky的代码来解决这个问题，但是相当冗长而且不是很漂亮。这个想法是覆盖创建表单的表单集，并在表单集中为这些字段指定选项，以便它们只从数据库中查询一次。
这里是：
from django import forms
from django.contrib import admin
from app.models import Arrangement, Machine, Setting, DisplayedGroup
class ChoicesFormSet(forms.BaseInlineFormSet):
setting_choices = list(Setting.objects.values_list('id', 'name'))
displayed_group_choices = list(DisplayedGroup.objects.values_list('id', 'name'))
def _construct_form(self, i, **kwargs):
kwargs['setting_choices'] = self.setting_choices
kwargs['displayed_group_choices'] = self.displayed_group_choices
return super()._construct_form(i, **kwargs)
class ArrangementInlineForm(forms.ModelForm):
class Meta:
model = Arrangement
exclude = ()
def __init__(self, *args, **kwargs):
setting_choices = kwargs.pop('setting_choices', [((), ())])
displayed_group_choices = kwargs.pop('displayed_group_choices', [((), ())])
super().__init__(*args, **kwargs)
# This ensures that you can still save the form without setting all 50 (see extra value) inline values.
# When you save, the field value is checked against the "initial" value
# of a field and you only get a validation error if you've changed any of the initial values.
self.fields['setting'].choices = [('-', '---')] + setting_choices
self.fields['setting'].initial = self.fields['setting'].choices[0][0]
self.fields['setting'].empty_values = (self.fields['setting'].choices[0][0],)
self.fields['displayed_group'].choices = displayed_group_choices
self.fields['displayed_group'].initial = self.fields['displayed_group'].choices[0][0]
class ArrangementInline(admin.TabularInline):
model = Arrangement
extra = 50
form = ArrangementInlineForm
formset = ChoicesFormSet
def get_queryset(self, request):
return super().get_queryset(request).select_related('setting')
class MachineAdmin(admin.ModelAdmin):
inlines = (ArrangementInline,)
admin.site.register(Machine, MachineAdmin)
如果您发现可以改进的地方或有任何疑问，请告诉我。
【讨论】：
过去几天我一直在尝试在 MachineAdmin、ArrangementAdmin、SettingAdmin、ArrangementInline 等许多地方使用 select_related 和 prefetch_related，但没有运气。问题在于 Select/Choices 内联查询集：对于每个内联，它对数据库进行 1 次查询以获取“设置”，并进行 1 次查询以获取“显示组”。如果我有 10 个内联，它将有 20 个查询。同时，MachineAdmin 查询集本身似乎对内联 Select/Choices 查询集没有任何影响 @HBui 嘿，对不起，我误解了你的问题，我更新了答案。在 Django 1.10 上测试。 @makeveli 你。是。天才。我发布了这个问题，不希望有人能像这样详细回答。一切正常。我什至不需要改变任何东西。天才。你太棒了。现在到最后一个问题：我怎样才能投票给你或做一些有利于你的事情来帮助你？我是新手，所以我不知道这些东西。 @HBui 我觉得你给我的表扬已经够多了，谢谢你的好话。 :) 我想多打扰你一点。一切仍然很好。除了我刚刚意识到每次单击“添加另一个排列”时，两个下拉框（设置和显示的组）都是空的，只有一个“（）”选项。难道我做错了什么。 “extra = some_number”虽然有效，但在您单击“添加另一个安排”时无效。如果能解决就完美了！【参考方案2】：如今，（感谢that question），BaseFormset 收到了form_kwargs attribute。
接受答案中的ChoicesFormSet 代码可以稍作修改：
class ChoicesFormSet(forms.BaseInlineFormSet):
def __init__(self, *args, **kwargs):
super().__init__(*args, **kwargs)
setting_choices = list(Setting.objects.values_list('id', 'name'))
displayed_group_choices = list(DisplayedGroup.objects.values_list('id', 'name'))
self.form_kwargs['setting_choices'] = self.setting_choices
self.form_kwargs['displayed_group_choices'] = self.displayed_group_choices
其余代码保持不变，如接受的答案中所述：
class ArrangementInlineForm(forms.ModelForm):
class Meta:
model = Arrangement
exclude = ()
def __init__(self, *args, **kwargs):
setting_choices = kwargs.pop('setting_choices', [((), ())])
displayed_group_choices = kwargs.pop('displayed_group_choices', [((), ())])
super().__init__(*args, **kwargs)
# This ensures that you can still save the form without setting all 50 (see extra value) inline values.
# When you save, the field value is checked against the "initial" value
# of a field and you only get a validation error if you've changed any of the initial values.
self.fields['setting'].choices = [('-', '---')] + setting_choices
self.fields['setting'].initial = self.fields['setting'].choices[0][0]
self.fields['setting'].empty_values = (self.fields['setting'].choices[0][0],)
self.fields['displayed_group'].choices = displayed_group_choices
self.fields['displayed_group'].initial = self.fields['displayed_group'].choices[0][0]
class ArrangementInline(admin.TabularInline):
model = Arrangement
extra = 50
form = ArrangementInlineForm
formset = ChoicesFormSet
def get_queryset(self, request):
return super().get_queryset(request).select_related('setting')
class MachineAdmin(admin.ModelAdmin):
inlines = (ArrangementInline,)
admin.site.register(Machine, MachineAdmin)
【讨论】：
【参考方案3】：我已经根据@makaveli 的回答组装了一个通用解决方案，似乎没有 cmets 中提到的问题：
class CachingModelChoicesFormSet(forms.BaseInlineFormSet):
"""
Used to avoid duplicate DB queries by caching choices and passing them all the forms.
To be used in conjunction with `CachingModelChoicesForm`.
"""
def __init__(self, *args, **kwargs):
super().__init__(*args, **kwargs)
sample_form = self._construct_form(0)
self.cached_choices =
try:
model_choice_fields = sample_form.model_choice_fields
except AttributeError:
pass
else:
for field_name in model_choice_fields:
if field_name in sample_form.fields and not isinstance(
sample_form.fields[field_name].widget, forms.HiddenInput):
self.cached_choices[field_name] = [c for c in sample_form.fields[field_name].choices]
def get_form_kwargs(self, index):
kwargs = super().get_form_kwargs(index)
kwargs['cached_choices'] = self.cached_choices
return kwargs
class CachingModelChoicesForm(forms.ModelForm):
"""
Gets cached choices from `CachingModelChoicesFormSet` and uses them in model choice fields in order to reduce
number of DB queries when used in admin inlines.
"""
@property
def model_choice_fields(self):
return [fn for fn, f in self.fields.items()
if isinstance(f, (forms.ModelChoiceField, forms.ModelMultipleChoiceField,))]
def __init__(self, *args, **kwargs):
cached_choices = kwargs.pop('cached_choices', )
super().__init__(*args, **kwargs)
for field_name, choices in cached_choices.items():
if choices is not None and field_name in self.fields:
self.fields[field_name].choices = choices
您需要做的就是从 CachingModelChoicesForm 子类化您的模型并在您的内联类中使用 CachingModelChoicesFormSet：
class ArrangementInlineForm(CachingModelChoicesForm):
class Meta:
model = Arrangement
exclude = ()
class ArrangementInline(admin.TabularInline):
model = Arrangement
extra = 50
form = ArrangementInlineForm
formset = CachingModelChoicesFormSet
【讨论】：
以上是关于Django model 遇到查询条件组合比较多的情况下怎么写的主要内容，如果未能解决你的问题，请参考以下文章