orm常用字段和数据库优化查询

Posted 2020-12-02 whnbky

一、Django ORM 常用字段和参数

1.常用字段

models中所有的字段类型其实本质就那几种，整形varchar什么的，都没有实际的约束作用，虽然在models中没有任何限制作用，但是还是要分门别类，对于校验性组件校验非常有用
就比如说邮箱类型，你在输入邮箱的时候如果不按照邮箱格式输入，瞎鸡儿输入会提示你不合法，虽然输入的是字符串，但是不是规定的邮箱字符串

 

AutoField()　　【int primary key auto_increment）】 int自增列，必须填入参数 primary_key=True。当model中如果没有自增列，则自动会创建一个列名为id的列。

IntegerField()　　【int()】一个整数类型,范围在 -2147483648 to 2147483647。(一般不用它来存手机号(位数也不够)，直接用字符串存

CharField()　　【varchar()】 字符类型，必须提供max_length参数， max_length表示字符长度。

DateField() 　　【date】日期字段，日期格式  YYYY-MM-DD，相当于Python中的datetime.date()实例。

DateTimeField() 　　【datetime】日期时间字段，格式 YYYY-MM-DD HH:MM[:ss[.uuuuuu]][TZ]，相当于Python中的datetime.datetime()实例

EmailField()  　　【varchar(254)】其实就是varchar但是不能直接写成varchar，就比如男人女人都是人，但是必须说清楚，后面会用于校验性组件的校验

BooleanField()
　　is_delete = BooleanField()
　　给该字段传值的时候 你只需要传布尔值即可
　　但是对应到数据库 它存的是0和1
TextField()
　　- 文本类型用来存大段文本
FileField()
　　- 字符串，路径保存在数据库，文件上传到指定目录
　　- 参数：
　　　　　　upload_to = "path" 用户上传的文件会自动放到等号后面指定的文件路径中
　　　　　　storage = None 存储组件，默认django.core.files.storage.FileSystemStorage

自定义char：

Django中的CharField对应的mysql数据库中的varchar类型，没有设置对应char类型的字段，

但是Django允许我们自定义新的字段，下面我来自定义对应于数据库的char类型

自定义字段在实际项目应用中可能会经常用到

 

from django.db import models

# Create your models here.
#Django中没有对应的char类型字段，但是我们可以自己创建
class FixCharField(models.Field):
    ‘‘‘
    自定义的char类型的字段类
    ‘‘‘
    def __init__(self,max_length,*args,**kwargs):
        self.max_length=max_length
        super().__init__(max_length=max_length,*args,**kwargs)

    def db_type(self, connection):
        ‘‘‘
        限定生成的数据库表字段类型char，长度为max_length指定的值
        :param connection:
        :return:
        ‘‘‘
        return ‘char(%s)‘%self.max_length
#应用上面自定义的char类型
class Class(models.Model):
    id=models.AutoField(primary_key=True)
    title=models.CharField(max_length=32)
    class_name=FixCharField(max_length=16)
    gender_choice=((1,‘男‘),(2,‘女‘),(3,‘保密‘))
    gender=models.SmallIntegerField(choices=gender_choice,default=3)

 

字段合集和对应关系

 

AutoField(Field)
        - int自增列，必须填入参数 primary_key=True

    BigAutoField(AutoField)
        - bigint自增列，必须填入参数 primary_key=True

        注：当model中如果没有自增列，则自动会创建一个列名为id的列
        from django.db import models

        class UserInfo(models.Model):
            # 自动创建一个列名为id的且为自增的整数列
            username = models.CharField(max_length=32)

        class Group(models.Model):
            # 自定义自增列
            nid = models.AutoField(primary_key=True)
            name = models.CharField(max_length=32)

    SmallIntegerField(IntegerField):
        - 小整数 -32768 ～ 32767

    PositiveSmallIntegerField(PositiveIntegerRelDbTypeMixin, IntegerField)
        - 正小整数 0 ～ 32767
    IntegerField(Field)
        - 整数列(有符号的) -2147483648 ～ 2147483647

    PositiveIntegerField(PositiveIntegerRelDbTypeMixin, IntegerField)
        - 正整数 0 ～ 2147483647

    BigIntegerField(IntegerField):
        - 长整型(有符号的) -9223372036854775808 ～ 9223372036854775807

    BooleanField(Field)
        - 布尔值类型

    NullBooleanField(Field):
        - 可以为空的布尔值

    CharField(Field)
        - 字符类型
        - 必须提供max_length参数， max_length表示字符长度

    TextField(Field)
        - 文本类型

    EmailField(CharField)：
        - 字符串类型，Django Admin以及ModelForm中提供验证机制

    IPAddressField(Field)
        - 字符串类型，Django Admin以及ModelForm中提供验证 IPV4 机制

    GenericIPAddressField(Field)
        - 字符串类型，Django Admin以及ModelForm中提供验证 Ipv4和Ipv6
        - 参数：
            protocol，用于指定Ipv4或Ipv6， ‘both‘,"ipv4","ipv6"
            unpack_ipv4， 如果指定为True，则输入::ffff:192.0.2.1时候，可解析为192.0.2.1，开启此功能，需要protocol="both"

    URLField(CharField)
        - 字符串类型，Django Admin以及ModelForm中提供验证 URL

    SlugField(CharField)
        - 字符串类型，Django Admin以及ModelForm中提供验证支持 字母、数字、下划线、连接符（减号）

    CommaSeparatedIntegerField(CharField)
        - 字符串类型，格式必须为逗号分割的数字

    UUIDField(Field)
        - 字符串类型，Django Admin以及ModelForm中提供对UUID格式的验证

    FilePathField(Field)
        - 字符串，Django Admin以及ModelForm中提供读取文件夹下文件的功能
        - 参数：
                path,                      文件夹路径
                match=None,                正则匹配
                recursive=False,           递归下面的文件夹
                allow_files=True,          允许文件
                allow_folders=False,       允许文件夹

    FileField(Field)
        - 字符串，路径保存在数据库，文件上传到指定目录
        - 参数：
            upload_to = ""      上传文件的保存路径
            storage = None      存储组件，默认django.core.files.storage.FileSystemStorage

    ImageField(FileField)
        - 字符串，路径保存在数据库，文件上传到指定目录
        - 参数：
            upload_to = ""      上传文件的保存路径
            storage = None      存储组件，默认django.core.files.storage.FileSystemStorage
            width_field=None,   上传图片的高度保存的数据库字段名（字符串）
            height_field=None   上传图片的宽度保存的数据库字段名（字符串）

    DateTimeField(DateField)
        - 日期+时间格式 YYYY-MM-DD HH:MM[:ss[.uuuuuu]][TZ]

    DateField(DateTimeCheckMixin, Field)
        - 日期格式      YYYY-MM-DD

    TimeField(DateTimeCheckMixin, Field)
        - 时间格式      HH:MM[:ss[.uuuuuu]]

    DurationField(Field)
        - 长整数，时间间隔，数据库中按照bigint存储，ORM中获取的值为datetime.timedelta类型

    FloatField(Field)
        - 浮点型

    DecimalField(Field)
        - 10进制小数
        - 参数：
            max_digits，小数总长度
            decimal_places，小数位长度

    BinaryField(Field)
        - 二进制类型

 

 

对应关系：
    ‘AutoField‘: ‘integer AUTO_INCREMENT‘,
    ‘BigAutoField‘: ‘bigint AUTO_INCREMENT‘,
    ‘BinaryField‘: ‘longblob‘,
    ‘BooleanField‘: ‘bool‘,
    ‘CharField‘: ‘varchar(%(max_length)s)‘,
    ‘CommaSeparatedIntegerField‘: ‘varchar(%(max_length)s)‘,
    ‘DateField‘: ‘date‘,
    ‘DateTimeField‘: ‘datetime‘,
    ‘DecimalField‘: ‘numeric(%(max_digits)s, %(decimal_places)s)‘,
    ‘DurationField‘: ‘bigint‘,
    ‘FileField‘: ‘varchar(%(max_length)s)‘,
    ‘FilePathField‘: ‘varchar(%(max_length)s)‘,
    ‘FloatField‘: ‘double precision‘,
    ‘IntegerField‘: ‘integer‘,
    ‘BigIntegerField‘: ‘bigint‘,
    ‘IPAddressField‘: ‘char(15)‘,
    ‘GenericIPAddressField‘: ‘char(39)‘,
    ‘NullBooleanField‘: ‘bool‘,
    ‘OneToOneField‘: ‘integer‘,
    ‘PositiveIntegerField‘: ‘integer UNSIGNED‘,
    ‘PositiveSmallIntegerField‘: ‘smallint UNSIGNED‘,
    ‘SlugField‘: ‘varchar(%(max_length)s)‘,
    ‘SmallIntegerField‘: ‘smallint‘,
    ‘TextField‘: ‘longtext‘,
    ‘TimeField‘: ‘time‘,
    ‘UUIDField‘: ‘char(32)‘,

 

 

2.字段参数

null　　用于表示某个字段可以为空。

unique　　如果设置为unique=True 则该字段在此表中必须是唯一的 。

db_index　　如果db_index=True 则代表着为此字段设置索引。

default　　为该字段设置默认值。

DateField和DateTimeField：

　　uto_now_add　　配置auto_now_add=True，创建数据记录的时候会把当前时间添加到数据库。

　　auto_now　　配置上auto_now=True，每次更新数据记录的时候会更新该字段

3.choices字段

在很多时候我们往数据库中存数据的时候不会直接存储汉字，会采用数字存取代替汉字，减小内存，

我们使用choices来给数字绑定注释关系，后期取出来的时候用固定语法取出注释，如：1表示男，我们取出来的时候取出男并不是取出数字1

 

1.绑定关系

choices=((1,‘男‘),(2,‘女‘),(3,‘其他‘))

gender = models.IntegerField(choices=choices)

2.取choice里面罗列的数字与中文对应关系：
                固定语法：
                get_字段名_display()
                如：print(user_obj.get_gender_display())

3. 取没有罗列出来的数字
             不会报错，会展示数字，数字是多少就展示多少

 

 

from django.db import models

# Create your models here.
class User(models.Model):
    username = models.CharField(max_length=32)
    age =  models.IntegerField()
    choices=(
        (1,‘男‘),(2,‘女‘),(3,‘其他‘)
    )
    gender = models.IntegerField(choices=choices)
    """
        1 取choice里面罗列的数字与中文对应关系：
                固定语法：
                get_字段名_display()
                如：print(user_obj.get_gender_display())

        2 取没有罗列出来的数字
             不会报错，会展示数字，数字是多少就展示多少
        """

 

 

import os
import sys

if __name__ == "__main__":
    os.environ.setdefault("DJANGO_SETTINGS_MODULE", "d57.settings")
    import django
    django.setup()
    from app01 import  models

    user_obj = models.User.objects.filter(pk=5).first()
    #print(user_obj.gender)
    print(user_obj.get_gender_display())

 

 

 

二、关系字段

1.ForeignKey

外键类型在ORM中用来表示外键关联关系，一般把ForeignKey字段设置在 ‘一对多‘中‘多‘的一方。

ForeignKey可以和其他表做关联关系同时也可以和自身做关联关系。

字段参数：

# to　　设置要关联的表

class Classes(models.Model):
    name = models.CharField(max_length=32)

class Student(models.Model):
    name = models.CharField(max_length=32)
    theclass = models.ForeignKey(to="Classes")

#to_field　　设置要关联的表的字段

#on_delete　　当删除关联表中的数据时，当前表与其关联的行的行为

 

def func():
    return 10

class MyModel(models.Model):
    user = models.ForeignKey(
        to="User",
        to_field="id"，
        on_delete=models.SET(func)
    )

 

# related_name　　反向操作时，使用参数指定的字段名，代替原反向查询时的‘表名_set‘

 

class Classes(models.Model):
    name = models.CharField(max_length=32)

class Student(models.Model):
    name = models.CharField(max_length=32)
    #theclass = models.ForeignKey(to="Classes") #不使用的情况下
    theclass = models.ForeignKey(to="Classes", related_name="students")

#当我们要查询某个班级关联的所有学生（反向查询）时，我们会这么写：
#models.Classes.objects.first().student_set.all() #本来这样写
models.Classes.objects.first().students.all()

 

# related_query_name　　反向查询操作时，使用的连接前缀，用于替换表名

# models.CASCADE　　删除关联数据，与之关联也删除

# db_constraint　　是否在数据库中创建外键约束，默认为True。

 

models.DO_NOTHING
删除关联数据，引发错误IntegrityError


models.PROTECT
删除关联数据，引发错误ProtectedError


models.SET_NULL
删除关联数据，与之关联的值设置为null（前提FK字段需要设置为可空）


models.SET_DEFAULT
删除关联数据，与之关联的值设置为默认值（前提FK字段需要设置默认值）


models.SET

删除关联数据，
a. 与之关联的值设置为指定值，设置：models.SET(值)
b. 与之关联的值设置为可执行对象的返回值，设置：models.SET(可执行对象)

 

2.OneToOneField

一对一字段。

通常一对一字段用来扩展已有字段。(通俗的说就是一个人的所有信息不是放在一张表里面的，简单的信息一张表，隐私的信息另一张表，之间通过一对一外键关联)

字段参数：

# to　　设置要关联的表。

# to_field　　设置要关联的字段。

# on_delete　　当删除关联表中的数据时，当前表与其关联的行的行为。(同外键，参考上面的例子)

 

class Author(models.Model):
    name = models.CharField(max_length=32)
    info = models.OneToOneField(to=‘AuthorInfo‘)
    

class AuthorInfo(models.Model):
    phone = models.CharField(max_length=11)
    email = models.EmailField()

 

3. ManyToManyField

用于表示多对多的关联关系。在数据库中通过第三张表来建立关联关系

#to　　设置要关联的表

# related_name　　同ForeignKey字段。

# related_query_name　　同ForeignKey字段。

# symmetrical　　仅用于多对多自关联时，指定内部是否创建反向操作的字段。默认为True。

 

class Person(models.Model):
    name = models.CharField(max_length=16)
    friends = models.ManyToManyField("self")
#此时，person对象就没有person_set属性。

class Person(models.Model):
    name = models.CharField(max_length=16)
    friends = models.ManyToManyField("self", symmetrical=False)
#此时，person对象现在就可以使用person_set属性进行反向查询。    

 

#through

在使用ManyToManyField字段时，Django将自动生成一张表来管理多对多的关联关系。

但我们也可以手动创建第三张表来管理多对多关系，此时就需要通过through来指定第三张表的表名。

# through_fields　　设置关联的字段。

# db_table　　默认创建第三张表时，数据库中表的名称。

4.多对多关联关系的三种方式

1.全自动(稍微推荐使用*)　　

　　完全依赖于ManyToMany让django orm自动创建第三张表
　　优势:不需要你创建第三张表 自动创建

　　不足:由于第三张表不是你手动创建的,也就意味着第三张表字段是固定的无法做扩展

 

            class Book(models.Model):
                title = models.CharField(max_length=32)
                price = models.DecimalField(max_digits=8,decimal_places=2)
                authors = models.ManyToManyField(to=‘Author‘)

            class Author(models.Model):
                name = models.CharField(max_length=32)

 

2.纯手动(了解即可，不用)　　　　

　　不依赖于ManyToMany,自己创建第三张表,里面是有ForeignKey自己做两张表的关联
　　优势:第三张可以新增任意字段 扩展性较高
　　不足:orm查询时较为繁琐

 

            class Book(models.Model):
                title = models.CharField(max_length=32)
                price = models.DecimalField(max_digits=8,decimal_places=2)

            class Author(models.Model):
                name = models.CharField(max_length=32)    
                
            class Book2Author(models.Model):
                book = models.ForeignKey(to=‘Book‘)
                author = models.ForeignKey(to=‘Author‘)
                create_time = models.DateField(auto_now_add=True)

 

3.半自动(大力推荐使用******)

　　设置ManyTomanyField参数，并指定自行创建的第三张表，依赖于ManyToMany,但是自己创建第三张表

　　优势:结合了全自动和纯手动的两个优点，可扩展性高

　　不足:多对多字段方法不支持了(add,set,remove,clear)，需要通过第三张表的model来管理多对多关系

 

 

            class Book(models.Model):
                title = models.CharField(max_length=32)
                price = models.DecimalField(max_digits=8,decimal_places=2)
                authors = models.ManyToManyField(to=‘Author‘,through=‘Book2Author‘,through_fields=(‘book‘,‘author‘))
                # through 告诉django orm 书籍表和作者表的多对多关系是通过Book2Author来记录的
                # through_fields 告诉django orm记录关系时用过Book2Author表中的book字段和author字段来记录的                   
            class Author(models.Model):
                name = models.CharField(max_length=32)
                # books = models.ManyToManyField(to=‘Book‘, through=‘Book2Author‘, through_fields=(‘author‘, ‘book‘))

            class Book2Author(models.Model):
                book = models.ForeignKey(to=‘Book‘)
                author = models.ForeignKey(to=‘Author‘)
                create_time = models.DateField(auto_now_add=True)

 

 

5.元信息

ORM对应的类里面包含另一个Meta类，而Meta类封装了一些数据库的信息。主要字段如下:

# db_table　　ORM在数据库中的表名默认是 app_类名，可以通过db_table可以重写表名。

# index_together　　联合索引。

# unique_together　　联合唯一索引。

# ordering　　指定默认按什么字段排序。

只有设置了该属性，我们查询到的结果才可以被reverse()。

 

 class UserInfo(models.Model):
        nid = models.AutoField(primary_key=True)
        username = models.CharField(max_length=32)

        class Meta:
            # 数据库中生成的表名称 默认 app名称 + 下划线 + 类名
            db_table = "table_name"

            # 联合索引
            index_together = [
                ("pub_date", "deadline"),
            ]

            # 联合唯一索引
            unique_together = (("driver", "restaurant"),)
            
            ordering = (‘name‘,)
            
            # admin中显示的表名称
            verbose_name=‘哈哈‘

            # verbose_name加s
            verbose_name_plural=verbose_name

 

三、数据库优化查询

1.update()与save()的区别

两者都是对数据的修改保存操作，但是save()函数是将数据列的全部数据项全部重新写一遍，效率极低，比如book_obj.save()会将对象所有属性重新保存一次

而update()则是针对修改的项进行针对的更新效率高耗时少，比如，update(price)，指哪打哪只会保存价格这一个属性

所以以后对数据的修改保存用update()

2.惰性查询

查询集 是惰性执行的 —— 创建查询集不会带来任何数据库的访问。你可以将过滤器保持一整天，直到查询集 需要求值时，Django 才会真正运行这个查询。

queryResult=models.Article.objects.all() # 只写这一句不会请求数据库
 
print(queryResult) # 直到你需要结果，此时才会查询数据库
 
for article in queryResult:
    print(article.title)    # 这样也会查询

orm内所有的语句操作 都是惰性查询:只会在你真正需要数据的时候才会走数据库,如果你单单只写orm语句时不会走数据库的
这样设计的好处 在于 减轻数据库的压力

3.only和defer 两对头

 

#only    only会将括号内的所有的字段信息 全部查询出来封装对象中

res = models.Book.objects.only(‘title‘)
            for r in res:
            # print(r.title)  # 只走一次数据库查询，将查询到的所有信息封装成一个对象，随后查询这些信息不需要再请求数据库，直接可以用点方法从对象中取出
              print(r.price)  
            # 当你点击一个不是only括号内指定的字段的时候 不会报错 而是会帮你去数据库查询，循环几次查几次，频繁的走数据库查询，当你有成千上万条信息时对数据库造成一万点伤害

#defer    defer会将不是括号内的所有的字段信息 全部查询出来封装对象中

 res1 = models.Book.objects.defer(‘title‘)  # defer与only是相反的
            for r in res1:  
            # print(r.title)# 查询括号内的字段，会频繁的走数据库查询
            print(r.price)#查询括号内没有的，只走一次

4. select_related 与 prefetch_related  两兄弟

res = models.Book.objects.all()
   for r in res:
      print(r.publish.name) #查询N次，这样是跨表查询，循环一次访问一次数据库，有一千万个书籍就查询一千万次

#常规的all方法，查询自己表里没有的属性，就需要跨表查询，虽然可以获取，但是你去查询一次就会访问一次数据库，查询其他表就不推荐这个了
#查询自己表里面有的属性时可以使用

#select_related  主动关联表

1. 主要针一对一和多对一关系进行优化。
2. 使用SQL的JOIN语句进行优化，通过减少SQL查询的次数来进行优化、提高性能

 

res = models.Book.objects.all().select_related(‘publish‘)
    for r in res:
       print(r.publish.name) #只查询一次，查询语句贼长包含两张表所有信息

#1.select_related:会将FK表全部信息直接拿过来(可以一次性拿多张表)跟当前表所有信息拼接成一张大表，封装成一个对象
之后获取信息直接点方法获取，不需要再访问数据库从而降低你跨表查询 数据库的压力，但是速度会比较慢，活太多

#2.支持一次性拿多张表，如果当前表有多个外键，括号内用逗号链接
　　　　如果FK1表中还有外键还可以再关联下去，用双下划线链接，最后将N张表合并成一个超级表
　　　　res = models.Book.objects.all().select_related(‘外键字段1__外键字段2__外键字段3__外键字段4......‘)

#注意select_related括号只能放外键字段(一对一和一对多才行)，res = models.Book.objects.all().select_related(‘authors‘)多对多的关系就会报错
 

 

# prefetch_related  不主动关联表

1. 对于多对多字段（ManyToManyField）和一对多字段，可以使用prefetch_related()来进行优化。
2. 优化方式是分别查询每个表，然后用Python处理他们之间的关系。

 

res = models.Book.objects.prefetch_related(‘publish‘)
    for r in res:
    print(r.publish.name) #只会走两次查询

"""
不主动连表操作(但是内部给你的感觉像是连表操作了)  而是先将book表中所有的publish的id全部拿出来，再到Publish表中将id对应的所有的数据的所有信息全部取出

括号内有几个外键字段 就会走几次数据库查询操作    
"""