六分组数据

Posted 2023-04-12 5250

6.1 创建分组 group by
group by规定：
1).group by 可以包含任意数目的列，所以可以对分组进行嵌套；
2).若group by 中嵌套了分组，数据将在最后规定的分组上进行汇总；
3).group by 子句中列出的每个列都必须是检索列或有效表达式（不能是聚集函数）；
4).如果分组的列中有NULL值，则将NULL作为一个单独分组返回；
5).group by 必须出现在where子句之后，order by子句之前。
>>> select vend_id,count(*) as num from products group by vend_id;  #group by子句指按照vend_id分组并排序数据。
>>> select vend_id,count(*) as num from products group by vend_id order by num;  #group by子句指按照vend_id分组再按num排序

6.2 过滤分组
where子句过滤的是行，having子句过滤的是分组。
where子句的所用到的技术和句法，having都支持。比如通配符，正则表达式，逻辑运算符等。
where子句在分组前进行过滤，having子句在分组后进行过滤。
>>> select cust_id,count(*) as num from orders group by cust_id having num>=2;  #根据cust_id分组后，然后找出每组订单数>=2的数据
>>> select cust_id,count(*) as num from orders where Month(trade_date)=\'12\' and group by num>=2;  #先找出12月份的订单，再根据cust_id分组后，然后找出每组订单数>=2的数据

6.3 分组和排序
分组自带排序，但是排序是以 分组的列排序的，若是指定其他的列排序，则需要order by子句
>>> select cust_id,SUM(qty*price) as amount from order group by cust_id having amount>=50;  #根据用户分组，计算每个用户消费总额，过滤出总额大于50的客户
>>> select cust_id,SUM(qty*price) as amount from order group by cust_id having amount>=50 order by amount; #根据用户分组，计算每个用户消费总额，过滤出总额大于50的客户,最后按消费总额排序

6.4 子句顺序
目前已经学了where子句，order by子句， group by子句 having子句 limit子句。编写sql语句时各子句顺序如下：
select子句 >      #要返回的列或表达式
from >           #要检索的表
where子句 >       #行级过滤
group by子句 >    #分组说明
having子句 >      #组级过滤
order by子句>     #排序说明
limit子句         #检索的行数

django功能六

今日内容概要

• 聚合查询(聚合函数的使用)aggregate

  max、min、sum、count、avg

• 分组查询(group by的使用)annotate

• F与Q查询

• django中如何开启事务

• orm中常用字段及参数

• 数据库查询优化(only与defer、select_related与prefetch_related)

• 图书管理系统作业讲解

今日内容详细

聚合查询

# 聚合查询      aggregate
    """
    聚合查询通常情况下都是配合分组一起使用的
    只要是跟数据库相关的模块 
        基本上都在django.db.models里面
        如果上述没有那么应该在django.db里面
    """
    from app01 import models
    from django.db.models import Max,Min,Sum,Count,Avg
    # 1 所有书的平均价格
    # res = models.Book.objects.aggregate(Avg(‘price‘))
    # print(res)
    # 2.上述方法一次性使用
    res = models.Book.objects.aggregate(Max(‘price‘),Min(‘price‘),Sum(‘price‘),Count(‘pk‘),Avg(‘price‘))
    print(res)

分组查询

# 分组查询  annotate
    """
    MySQL分组查询都有哪些特点
        分组之后默认只能获取到分组的依据 组内其他字段都无法直接获取了
            严格模式
                ONLY_FULL_GROUP_BY
                
    """
    from django.db.models import Max, Min, Sum, Count, Avg
    # 1.统计每一本书的作者个数
    # res = models.Book.objects.annotate()  # models后面点什么 就是按什么分组
    # res = models.Book.objects.annotate(author_num=Count(‘authors‘)).values(‘title‘,‘author_num‘)
    """
    author_num是我们自己定义的字段 用来存储统计出来的每本书对应的作者个数
    """
    # res1 = models.Book.objects.annotate(author_num=Count(‘authors__id‘)).values(‘title‘,‘author_num‘)
    # print(res,res1)
    """
    代码没有补全 不要怕 正常写
    补全给你是pycharm给你的 到后面在服务器上直接书写代码 什么补全都没有 颜色提示也没有
    
    """

    # 2.统计每个出版社卖的最便宜的书的价格(作业:复习原生SQL语句 写出来)
    # res = models.Publish.objects.annotate(min_price=Min(‘book__price‘)).values(‘name‘,‘min_price‘)
    # print(res)

    # 3.统计不止一个作者的图书
        # 1.先按照图书分组 求每一本书对应的作者个数
        # 2.过滤出不止一个作者的图书
    # res = models.Book.objects.annotate(author_num=Count(‘authors‘)).filter(author_num__gt=1).values(‘title‘,‘author_num‘)
    # """
    # 只要你的orm语句得出的结果还是一个queryset对象
    # 那么它就可以继续无限制的点queryset对象封装的方法
    #
    # """
    # print(res)

    # 4.查询每个作者出的书的总价格
    # res = models.Author.objects.annotate(sum_price=Sum(‘book__price‘)).values(‘name‘,‘sum_price‘)
    # print(res)

    """
    如果我想按照指定的字段分组该如何处理呢？
        models.Book.objects.values(‘price‘).annotate()
    后续BBS作业会使用
     
    
    你们的机器上如果出现分组查询报错的情况
        你需要修改数据库严格模式
    """

F与Q查询

# F查询
    # 1.查询卖出数大于库存数的书籍
    # F查询
    """
    能够帮助你直接获取到表中某个字段对应的数据
    """
    from django.db.models import F
    # res = models.Book.objects.filter(maichu__gt=F(‘kucun‘))
    # print(res)


    # 2.将所有书籍的价格提升500块
    # models.Book.objects.update(price=F(‘price‘) + 500)


    # 3.将所有书的名称后面加上爆款两个字
    """
    在操作字符类型的数据的时候 F不能够直接做到字符串的拼接
    """
    from django.db.models.functions import Concat
    from django.db.models import Value
    models.Book.objects.update(title=Concat(F(‘title‘), Value(‘爆款‘)))
    # models.Book.objects.update(title=F(‘title‘) + ‘爆款‘)  # 所有的名称会全部变成空白

 # Q查询
    # 1.查询卖出数大于100或者价格小于600的书籍
    # res = models.Book.objects.filter(maichu__gt=100,price__lt=600)
    """filter括号内多个参数是and关系"""
    from django.db.models import Q
    # res = models.Book.objects.filter(Q(maichu__gt=100),Q(price__lt=600))  # Q包裹逗号分割 还是and关系
    # res = models.Book.objects.filter(Q(maichu__gt=100)|Q(price__lt=600))  # | or关系
    # res = models.Book.objects.filter(~Q(maichu__gt=100)|Q(price__lt=600))  # ~ not关系
    # print(res)  # <QuerySet []>

    # Q的高阶用法  能够将查询条件的左边也变成字符串的形式
    q = Q()
    q.connector = ‘or‘
    q.children.append((‘maichu__gt‘,100))
    q.children.append((‘price__lt‘,600))
    res = models.Book.objects.filter(q)  # 默认还是and关系
    print(res)

django中如何开启事务

"""
事务
	ACID
		原子性
			不可分割的最小单位
		一致性
			跟原子性是相辅相成
		隔离性
			事务之间互相不干扰
		持久性
			事务一旦确认永久生效
	
	事务的回滚 
		rollback
	事务的确认
		commit
"""
# 目前你只需要掌握Django中如何简单的开启事务
# 事务
    from django.db import transaction
    try:
        with transaction.atomic():
            # sql1
            # sql2
            ...
            # 在with代码快内书写的所有orm操作都是属于同一个事务
    except Exception as e:
        print(e)
    print(‘执行其他操作‘)

orm中常用字段及参数

AutoField
	主键字段 primary_key=True
  
CharField				varchar
	verbose_name	字段的注释
  max_length		长度
  
IntegerField			int
BigIntegerField		bigint

DecimalField
	max_digits=8
  decimal_places=2

EmailFiled				varchar(254)

DateField					date
DateTimeField			datetime
	auto_now:每次修改数据的时候都会自动更新当前时间
  auto_now_add:只在创建数据的时候记录创建时间后续不会自动修改了
    
BooleanField(Field)				- 布尔值类型
	该字段传布尔值(False/True) 	数据库里面存0/1

TextField(Field)					- 文本类型
	该字段可以用来存大段内容(文章、博客...)  没有字数限制
  后面的bbs作业 文章字段用的就是TextField


FileField(Field)					- 字符类型
   upload_to = "/data"
  给该字段传一个文件对象，会自动将文件保存到/data目录下然后将文件路径保存到数据库中
  /data/a.txt
  后面bbs作业也会涉及

# 更多字段
直接参考博客:https://www.cnblogs.com/Dominic-Ji/p/9203990.html

    
# django除了给你提供了很多字段类型之外 还支持你自定义字段
class MyCharField(models.Field):
    def __init__(self,max_length,*args,**kwargs):
        self.max_length = max_length
        # 调用父类的init方法
        super().__init__(max_length=max_length,*args,**kwargs)  # 一定要是关键字的形式传入

    def db_type(self, connection):
        """
        返回真正的数据类型及各种约束条件
        :param connection:
        :return:
        """
        return ‘char(%s)‘%self.max_length

# 自定义字段使用
myfield = MyCharField(max_length=16,null=True)



# 外键字段及参数
unique=True
	ForeignKey(unique=True)   ===			OneToOneField()
  # 你在用前面字段创建一对一 orm会有一个提示信息 orm推荐你使用后者但是前者也能用
  
db_index
	如果db_index=True 则代表着为此字段设置索引
  (复习索引是什么)

to_field
	设置要关联的表的字段  默认不写关联的就是另外一张的主键字段

on_delete
	当删除关联表中的数据时，当前表与其关联的行的行为。
  """
  django2.X及以上版本 需要你自己指定外键字段的级联更新级联删除
  """

数据库查询优化

only与defer	
select_related与prefetch_related

"""
orm语句的特点:
	惰性查询
		如果你仅仅只是书写了orm语句 在后面根本没有用到该语句所查询出来的参数
		那么orm会自动识别 直接不执行
"""
# only与defer
# res = models.Book.objects.all()
    # print(res)  # 要用数据了才会走数据库

    # 想要获取书籍表中所有数的名字
    # res = models.Book.objects.values(‘title‘)
    # for d in res:
    #     print(d.get(‘title‘))
    # 你给我实现获取到的是一个数据对象 然后点title就能够拿到书名 并且没有其他字段
    # res = models.Book.objects.only(‘title‘)
    # res = models.Book.objects.all()
    # print(res)  # <QuerySet [<Book: 三国演义爆款>, <Book: 红楼梦爆款>, <Book: 论语爆款>, <Book: 聊斋爆款>, <Book: 老子爆款>]>
    # for i in res:
        # print(i.title)  # 点击only括号内的字段 不会走数据库
        # print(i.price)  # 点击only括号内没有的字段 会重新走数据库查询而all不需要走了

    res = models.Book.objects.defer(‘title‘)  # 对象除了没有title属性之外其他的都有
    for i in res:
        print(i.price)
    """
    defer与only刚好相反
        defer括号内放的字段不在查询出来的对象里面 查询该字段需要重新走数据
        而如果查询的是非括号内的字段 则不需要走数据库了

    """
    

# select_related与prefetch_related
# select_related与prefetch_related  跟跨表操作有关
    # res = models.Book.objects.all()
    # for i in res:
    #     print(i.publish.name)  # 每循环一次就要走一次数据库查询

    # res = models.Book.objects.select_related(‘authors‘)  # INNER JOIN
    """
    select_related内部直接先将book与publish连起来 然后一次性将大表里面的所有数据
    全部封装给查询出来的对象
        这个时候对象无论是点击book表的数据还是publish的数据都无需再走数据库查询了
    
    select_related括号内只能放外键字段    一对多 一对一
        多对多也不行
    
    """
    # for i in res:
    #     print(i.publish.name)  # 每循环一次就要走一次数据库查询

    res = models.Book.objects.prefetch_related(‘publish‘)  # 子查询
    """
    prefetch_related该方法内部其实就是子查询
        将子查询查询出来的所有结果也给你封装到对象中
        给你的感觉好像也是一次性搞定的
    """
    for i in res:
        print(i.publish.name)