django 多数据库路由不适用于多个模式

Posted 2023-02-24

【中文标题】django 多数据库路由不适用于多个模式

【英文标题】：django multi db routing doesnt work with multiple schemas

【发布时间】：2012-10-03 11:22:47

【问题描述】：

我在 oracle 后端运行 django。我需要使用两种模式 - 一种用于遗留数据库，第二种用于所有 django 相关表。

这是我的设置。数据库：

APPS_DB = 'apps'
DATABASES = 

    'default' :  
        'ENGINE': 'django.db.backends.oracle'
        'NAME': 'django',                      
        'USER': 'django-tables',                      
        'PASSWORD': '****',                  
        'HOST': 'localhost',                       
        'PORT': '1531',                     
    ,

    APPS_DB :  
        'ENGINE': 'django.db.backends.oracle', 
        'NAME': 'django',                      
        'USER': 'legacy-stuff',                      
        'PASSWORD': '****',                 
        'HOST': 'localhost',                     
        'PORT': '1531',                      
     ,

我还定义了路由器：

class MyRouter(object):
    """A router to control all database operations on models"""

def __init__(self):
    aux = []
    for app in settings.INSTALLED_APPS:
        if not app.endswith('myapp'):
            aux.append(app)
    self.djangoStuff = tuple(map(lambda x: x[x.rfind('.')+1:], aux))

def is_django_stuff(self, model):
    return model._meta.app_label in self.djangoStuff

def db_for_read(self, model, **hints):
    "Point all django apps models to separate DB"
    logger.info("READ from " + model._meta.app_label)
    if self.is_django_stuff(model):
        logger.info("Will be directed to default DB")
        return None
    logger.info("Will be directed to legacy DB")    
    return settings.APPS_DB

def db_for_write(self, model, **hints):
    "Point all django apps models to separate DB"
    logger.info("WRITE")
    if self.is_django_stuff(model):
        return None
    return settings.APPS_DB

def allow_relation(self, obj1, obj2, **hints):
    "Allow any relation"
    logger.info("ALLOW REL")
    return True

def allow_syncdb(self, db, model):
    "Allow syncdb for all managed objects"
    logger.info("ALLOW SYNC")
    if db == 'default' and self.is_django_stuff(model):
        return True
    if db != 'default' and not self.is_django_stuff(model):
        return True
    return False

现在我有一个非常简单的模型：

class Poll(models.Model):
    question = models.CharField(max_length=200)
    user = models.ForeignKey(User)
    pub_date = models.DateTimeField('date published')

我做了两个同步数据库：

python manage.py syncdb
python manage.py syndb --database apps

一切顺利。 然后我使用'python manage.py shell'创建投票对象

superuser = User.objects.all()[0]
p = Poll(question="foo", user = superuser, pub_date = datetime.now())
p.save()

我尝试从投票中检索用户：

  a = Poll.objects.all()
  b = len(a)
  b = a[0]
  c = b.artist

我在路由器中启用了日志记录，所以我看到最后一个查询将被定向到正确的数据库：

READ from myapp
Will be directed to apps DB
READ from myapp
Will be directed to apps DB
READ from auth
Will be directed to default DB

我什至可以看到实际的 SQL 语句：

(0.005) SELECT "AUTH_USER"."ID", "AUTH_USER"."USERNAME", "AUTH_USER"."FIRST_NAME",    "AUTH_USER"."LAST_NAME", "AUTH_USER"."EMAIL", "AUTH_USER"."PASSWORD", "AUTH_USER"."IS_STAFF", "AUTH_USER"."IS_ACTIVE", "AUTH_USER"."IS_SUPERUSER", "AUTH_USER"."LAST_LOGIN", "AUTH_USER"."DATE_JOINED" FROM "AUTH_USER" WHERE "AUTH_USER"."ID" = :arg0 ; args=(1,)

但我遇到了错误：

  File "<console>", line 1, in <module>
  File "/usr/local/lib/python2.7/dist-packages/Django-1.4.1-py2.7.egg/django/db/models/fields/related.py", line 350, in __get__
    rel_obj = qs.get(**params)
  File "/usr/local/lib/python2.7/dist-packages/Django-1.4.1-py2.7.egg/django/db/models/query.py", line 361, in get
    num = len(clone)
  File "/usr/local/lib/python2.7/dist-packages/Django-1.4.1-py2.7.egg/django/db/models/query.py", line 85, in __len__
    self._result_cache = list(self.iterator())
  File "/usr/local/lib/python2.7/dist-packages/Django-1.4.1-py2.7.egg/django/db/models/query.py", line 291, in iterator
    for row in compiler.results_iter():
  File "/usr/local/lib/python2.7/dist-packages/Django-1.4.1-py2.7.egg/django/db/models/sql/compiler.py", line 763, in results_iter
    for rows in self.execute_sql(MULTI):
  File "/usr/local/lib/python2.7/dist-packages/Django-1.4.1-py2.7.egg/django/db/models/sql/compiler.py", line 818, in execute_sql
    cursor.execute(sql, params)
  File "/usr/local/lib/python2.7/dist-packages/Django-1.4.1-py2.7.egg/django/db/backends/util.py", line 40, in execute
return self.cursor.execute(sql, params)
  File "/usr/local/lib/python2.7/dist-packages/Django-1.4.1-py2.7.egg/django/db/backends/oracle/base.py", line 675, in execute
    return self.cursor.execute(query, self._param_generator(params))
DatabaseError: ORA-00942: table or view does not exist

所以我的问题是 - 我做错了什么？

【问题讨论】：

遗憾的是，Django 不具备处理多个模式的能力。我认为这在 1.5 及以后版本中正在发生变化。有一个补丁可以解决这个问题，几个月前我研究了这个 - 但最终只是在同一台服务器上使用了两个单独的数据库。

@JamesR - 是的，我认为你是对的。我也调查了这个。我真的希望 Django 1.5 能解决这个问题。在数据库中有不同的模式是很常见的。我一直觉得这是 django 的一个真正弱点。

如果某些东西适用于两个单独的数据库，它应该适用于两种模式——至少在 Oracle 的情况下。我知道 django 中不支持多个模式，这就是我决定使用多数据库方法的原因。我只是不明白为什么会出现此错误，因为它在数据库级别，所以阻止跨数据库关系的不是 django。另一方面，看着查询的预言机不知道这里有什么关系。

首先错误不是来自django，而是来自数据库。其次，我没有使用不同的数据库，而是使用不同的模式，因此关系是可能的。该错误与外键或任何关系无关。看起来 django 忽略了路由器建议并将 sql 查询定向到错误的数据库。

您的返回语句是 settings.APPS_DB。在我的路由器中，我返回一个字符串，因此在您的情况下返回 APPS_DB （并确保导入该变​​量）。此外，我不认为 settings.APPS_DB 在任何情况下都是有效的，数据库存储在位于 settings.DATABASES

的字典中

【参考方案1】：

跨数据库外键本质上是无效的，因为 Django 正在为具有引用完整性的“适当”关系数据库建模，如果模型存储在完全不同的物理存储中，则无法在数据库级别强制执行。

无论如何，出于这个原因，Django 必须假定任何对象都存在于与您最初检索的对象相同的数据库中。在您的情况下，它从您的旧数据库中获取您的 Poll 对象，因此它也必须在那里寻找您的用户（或艺术家或其他任何人）。

对于像这样的简单查询，它很容易解决，例如：

poll = Poll.objects.all()[0]
user_id = poll.user_id # _id after the name of your "Foreign Key" field - which cannot really be an FK
user = User.objects.get(user_id) # This will be a new query and can use a different database, it will check the router

对于更复杂的查询（连接等），您通常会发现您需要构建列表或 id 集，并使用 filter(id__in=your_list_of_ids) 进行查询。

根据记录的数量，这样做可能会降低性能或内存使用量。 （但在某些情况下，您的查询实际上会比原始连接快得多，这完全取决于您的应用程序。）您可能需要将您的 id 列表分成批次，或者您的查询可能会变得太长，等等。但没有这些问题是无法克服的。

当您处理来自另一个数据库的 id 时，由您来执行参照完整性。有时您需要设置批处理来处理整理数据。

这一切听起来都是错误的，但这种关注点分离，特别是如果你可以限制依赖关系，并且只在一个方向上，可能是完全正确的方法。