查询集的高效逆向
Posted
技术标签:
【中文标题】查询集的高效逆向【英文标题】：Efficient reverse of queryset 【发布时间】：2015-04-15 02:38:40 【问题描述】：我正在尝试寻找最有效的方法来遍历我的模型以获取我想要的数据。我有三个“相关”模型。 Item、ProtectionList 和 Player
保护列表
class ProtectionList(models.Model):
player = models.ForeignKey(Player)
main_hand = models.ForeignKey(Item, null=True, blank=True, related_name='main_hand')
off_hand = models.ForeignKey(Item, null=True, blank=True, related_name='off_hand')
head = models.ForeignKey(Item, null=True, blank=True, related_name='head')
neck = models.ForeignKey(Item, null=True, blank=True, related_name='neck')
shoulder = models.ForeignKey(Item, null=True, blank=True, related_name='shoulder')
back = models.ForeignKey(Item, null=True, blank=True, related_name='back')
chest = models.ForeignKey(Item, null=True, blank=True, related_name='chest')
wrist = models.ForeignKey(Item, null=True, blank=True, related_name='wrist')
hands = models.ForeignKey(Item, null=True, blank=True, related_name='hands')
waist = models.ForeignKey(Item, null=True, blank=True, related_name='waist')
legs = models.ForeignKey(Item, null=True, blank=True, related_name='legs')
feet = models.ForeignKey(Item, null=True, blank=True, related_name='feet')
ring1 = models.ForeignKey(Item, null=True, blank=True, related_name='ring1')
ring2 = models.ForeignKey(Item, null=True, blank=True, related_name='ring2')
trinket1 = models.ForeignKey(Item, null=True, blank=True, related_name='trinket1')
trinket2 = models.ForeignKey(Item, null=True, blank=True, related_name='trinket2')
locked = models.BooleanField(default=False)
def __unicode__(self):
return self.player.main_character.name
播放器
class Player(models.Model):
accountID = models.CharField(max_length=255, null=True, blank=True)
battletag = models.CharField(max_length=255, null=True, blank=True)
user = models.OneToOneField(User, null=True, blank=True)
main_character = models.ForeignKey('Character', null=True, blank=True, related_name='main_character')
signature = models.TextField(null=True, blank=True)
def __unicode__(self):
return self.battletag
物品
class Item(models.Model):
'''Details individual data for each item on a loot table'''
name = models.CharField(max_length=255, null=True)
item_id = models.IntegerField(null=True)
dropped_by = models.ForeignKey(Boss)
warforgeable = models.BooleanField(default=True)
bonus_string = models.CharField(max_length=255, blank=True, null=True)
def __unicode__(self):
return self.name
我需要将我的方式映射回Player 以创建Player 对象列表，具体取决于谁在其ProtectedList 的任何字段中拥有Item。
我知道Item 与ProtectionList 和ProtectionList 与Player 相关，但是我想找到一种有效的方法来检查Item 是ProtectionList 对象中的ForeignKey 的所有字段被过滤的Item 可能位于任何字段中（减去player 和locked 字段）。
我考虑过使用 Q 对每个字段进行 OR，但我不确定这在更大的查询集上会有多优化。
我也在查看中间表并将模型更改为多对多。
【问题讨论】：
我认为您遇到了困难，因为您的模型错误。而不是所有这些外键，使用包含您当前用作字段名称的名称的中间表（Django 称之为“通过”模型）的多对多链接到项目一次。如果您这样做，您的查询将变得非常容易。 如果没有明确定义，我将如何引用该项目所在的插槽？ 中间表（“通过”模型）允许您存储额外数据，可以是一个字符串字段，如slot_name 设置为一个值，例如“off_hand”或“main_hand”。现在您只需过滤与相关项目和字符匹配的 m2m 关系（通常通过查询“通过”模型），确定槽就像检查您最终以这种方式选择的对象上的 CharField 一样简单。
@NeilAshleyHickman 您可以在中间表中为插槽添加一个额外的字段。
我的 atm 时间很短，因此是 cmets。如果我稍后检查（我总是在上车时回顾我的活动）并且仍然什么都没有/你还没有弄清楚，我会尝试为此编写一个 SSCCE。 :)
【参考方案1】：
我可能是错的，但我觉得你的模型结构没有标准化。您在Player 和Item 之间通过Slots 建立了M2M 关系。考虑以下模型结构：
from django.db import models
from django.contrib.auth.models import User
class Slot(models.Model):
#e.g. main_hand, off_hand, head, ... , feet
name = models.CharField(max_length=255)
def __unicode__(self):
return self.name
class Item(models.Model):
'''Details individual data for each item on a loot table'''
name = models.CharField(max_length=255, null=True)
item_id = models.IntegerField(null=True)
"""removed for the example"""
#dropped_by = models.ForeignKey(Boss)
warforgeable = models.BooleanField(default=True)
bonus_string = models.CharField(max_length=255, blank=True, null=False, default='')
def __unicode__(self):
return self.name
class PlayerManager(models.Manager):
def create_player_with_empty_slots(self, **kwargs):
player = Player.objects.create(**kwargs)
PlayerSlot.objects.bulk_create([
PlayerSlot(player=player, slot=slot) for slot in Slot.objects.all()
])
return player
class Player(models.Model):
user = models.OneToOneField(User, null=True, blank=True)
"""removed for the example"""
#accountID = models.CharField(max_length=255, null=True, blank=True)
#battletag = models.CharField(max_length=255, null=True, blank=True)
#main_character = models.ForeignKey('Character', null=True, blank=True, related_name='main_character')
#signature = models.TextField(null=True, blank=True)
slots = models.ManyToManyField(Slot, through='PlayerSlot')
items = models.ManyToManyField(Item, through='PlayerSlot')
objects = PlayerManager()
def __unicode__(self):
"""changed for the example"""
return self.user.username
def get_slot(self, slot_or_slotname):
if isinstance(slot_or_slotname, Slot):
return self.playerslot_set.get(slot=slot_or_slotname)
else:
return self.playerslot_set.get(slot__name=slot_or_slotname)
def set_item(self, item, at_slot):
slot = self.get_slot(at_slot)
slot.item = item
slot.save()
class PlayerSlot(models.Model):
player = models.ForeignKey(Player)
slot = models.ForeignKey(Slot)
#item is optional, to allow empty slots
item = models.ForeignKey(Item, null=True, blank=True)
locked = models.BooleanField(default=False)
class Meta:
unique_together = ('player', 'slot')
def __unicode__(self):
return "player carry item on slot".format(player=self.player, item=self.item or 'nothing', slot=self.slot)
使用 API
>>> from django.contrib.auth.models import User
>>> from game.models import Slot, Item, Player, PlayerSlot
让我们创建一些初始数据：
>>> Slot.objects.bulk_create([
... Slot(name='main_hand'),
... Slot(name='off_hand'),
... Slot(name='head'),
... Slot(name='neck'),
... Slot(name='shoulder'),
... Slot(name='back'),
... Slot(name='chest'),
... Slot(name='wrist'),
... Slot(name='hands'),
... Slot(name='waist'),
... Slot(name='legs'),
... Slot(name='feet'),
... Slot(name='ring1'),
... Slot(name='ring2'),
... Slot(name='trinket1'),
... Slot(name='trinket2'),
... ])
[<Slot: main_hand>, <Slot: off_hand>, <Slot: head>, <Slot: neck>, <Slot: shoulder>, <Slot: back>, <Slot: chest>, <Slot: wrist>, <Slot: hands>, <Slot: waist>, <Slot: legs>, <Slot: feet>, <Slot: ring1>, <Slot: ring2>, <Slot: trinket1>, <Slot: trinket2>]
>>> Item.objects.bulk_create([
... Item(name='Short Sword'),
... Item(name='Sabre'),
... Item(name='Broadsword'),
... Item(name='Apprentice Broadsword'),
... Item(name='Monster Hunter'),
... ])
[<Item: Short Sword>, <Item: Sabre>, <Item: Broadsword>, <Item: Apprentice Broadsword>, <Item: Monster Hunter>]
>>> user1 = User.objects.create_user('john', 'lennon@thebeatles.com', 'johnpassword')
>>> user2 = User.objects.create_user('paul', 'mccartney@thebeatles.com', 'mccartnypassword')
>>> player1 = Player.objects.create_player_with_empty_slots(user=user1)
>>> player2 = Player.objects.create_player_with_empty_slots(user=user2)
获取所有玩家位置：
>>> player1.slots.all()
[<Slot: main_hand>, <Slot: off_hand>, <Slot: head>, <Slot: neck>, <Slot: shoulder>, <Slot: back>, <Slot: chest>, <Slot: wrist>, <Slot: hands>, <Slot: waist>, <Slot: legs>, <Slot: feet>, <Slot: ring1>, <Slot: ring2>, <Slot: trinket1>, <Slot: trinket2>]
获取所有玩家物品：
>>> player1.items.all()
[]
添加新项目？
>>> broadsword = Item.objects.get(name='Broadsword')
>>> player1.set_item(broadsword, at_slot='main_hand')
>>> player1.items.all()
[<Item: Broadsword>]
检查某个插槽内有什么？
>>> player1.get_slot('main_hand')
<PlayerSlot: john carry Broadsword on main_hand>
寻找拥有物品的玩家：
>>> Player.objects.filter(items=broadsword)
[<Player: john>]
两位炼金术士的更多示例：
以下是此模型结构的一些示例查询：
你有一个 Player 对象 player 并且需要知道他/她的左手有什么：
player.items.filter(slot__name='off_hand')[0].item # Could be None
您有一个 Item 对象 item 并想知道 player 配备了哪个插槽：
PlayerSlot.objects.filter(player=player).filter(item=item)[0].slot.name
您有一个物品对象item 并想知道哪些玩家拥有该物品：
PlayerSlot.objects.filter(item=item).all()
或
Player.objects.filter(slots__item=item).all()
取决于您希望使用的对象。我还没有测试过上面的任何查询，但这应该可以帮助您入门。另请注意，如果关系没有按照您的想法排列（例如，player 实际上没有 item），则以这种方式链接（查询 1 和 2）可能会抛出 IndexError，因此请准备好可能会抓住那个。
迁移旧数据
我相信这样的事情可以完成这项工作：
plist_slots = [
'main_hand', 'off_hand', 'head', 'neck', 'shoulder',
'back', 'chest', 'wrist', 'hands', 'waist', 'legs',
'feet', 'ring1', 'ring2', 'trinket1', 'trinket2'
]
Slot.objects.bulk_create([
Slot(name=slot) for slot in plist_slots
])
plist = ProtectionList.objects.all().select_related(
*list(['player'] + plist_slots)
)
for p in plist:
PlayerSlot.objects.bulk_create([
PlayerSlot(
player=p.player,
item=getattr(p, slot),
slot=Slot.objects.get(name=slot)
) for slot in plist_slots
])
【讨论】：
+1 表示unique_together。也许您可以添加一个如何使用这些关系的示例，例如找到所有拥有特定物品的玩家，因为我相信这就是 OP 的要求。
我明天会尝试这样做，现在需要睡觉:-)
顺便说一句，再次查看唯一性对唯一的玩家和插槽更好，因为我想在同一个插槽中有两个项目是不合适的。现在要编辑它。
@NeilAshleyHickman 在迁移过程中您永远不应该丢失数据。在删除 ProtectionList 之前，您只需将模型部分或全部更改为此，然后编写脚本或数据迁移来传输数据，最后进行删除 ProtectionList 的新架构迁移。
好的，伙计们，抱歉迟到了。我添加了更多示例，并为您提供了如何迁移数据的提示。以上是关于查询集的高效逆向的主要内容，如果未能解决你的问题，请参考以下文章