缓存,信号,序列化,分页

Posted 何必从头

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了缓存,信号,序列化,分页相关的知识,希望对你有一定的参考价值。

 

缓存,信号,序列化,分页

 

缓存

由于Django是动态网站,所有每次请求均会去数据进行相应的操作,当程序访问量大时,耗时必然会更加明显,最简单解决方式是使用:缓存,缓存将一个某个views的返回值保存至内存或者memcache中,5分钟内再有人来访问时,则不再去执行view中的操作,而是直接从内存或者Redis中之前缓存的内容拿到,并返回。

Django中提供了6种缓存方式:

  • 开发调试
  • 内存
  • 文件
  • 数据库
  • Memcache缓存(python-memcached模块)
  • Memcache缓存(pylibmc模块)

1、配置

a、开发调试

技术分享
    # 此为开始调试用,实际内部不做任何操作
    # 配置:
        CACHES = {
            default: {
                BACKEND: django.core.cache.backends.dummy.DummyCache,     # 引擎
                TIMEOUT: 300,                                               # 缓存超时时间(默认300,None表示永不过期,0表示立即过期)
                OPTIONS:{
                    MAX_ENTRIES: 300,                                       # 最大缓存个数(默认300)
                    CULL_FREQUENCY: 3,                                      # 缓存到达最大个数之后,剔除缓存个数的比例,即:1/CULL_FREQUENCY(默认3)
                },
                KEY_PREFIX: ‘‘,                                             # 缓存key的前缀(默认空)
                VERSION: 1,                                                 # 缓存key的版本(默认1)
                KEY_FUNCTION 函数名                                          # 生成key的函数(默认函数会生成为:【前缀:版本:key】)
            }
        }


    # 自定义key
    def default_key_func(key, key_prefix, version):
        """
        Default function to generate keys.

        Constructs the key used by all other methods. By default it prepends
        the `key_prefix‘. KEY_FUNCTION can be used to specify an alternate
        function with custom key making behavior.
        """
        return %s:%s:%s % (key_prefix, version, key)

    def get_key_func(key_func):
        """
        Function to decide which key function to use.

        Defaults to ``default_key_func``.
        """
        if key_func is not None:
            if callable(key_func):
                return key_func
            else:
                return import_string(key_func)
        return default_key_func
View Code

b、内存

技术分享
    # 此缓存将内容保存至内存的变量中
    # 配置:
        CACHES = {
            default: {
                BACKEND: django.core.cache.backends.locmem.LocMemCache,
                LOCATION: unique-snowflake,
            }
        }

    # 注:其他配置同开发调试版本
View Code

c、文件

技术分享
    # 此缓存将内容保存至文件
    # 配置:

        CACHES = {
            default: {
                BACKEND: django.core.cache.backends.filebased.FileBasedCache,
                LOCATION: /var/tmp/django_cache,
            }
        }
    # 注:其他配置同开发调试版本
View Code

d、数据库

技术分享
    # 此缓存将内容保存至数据库

    # 配置:
        CACHES = {
            default: {
                BACKEND: django.core.cache.backends.db.DatabaseCache,
                LOCATION: my_cache_table, # 数据库表
            }
        }

    # 注:执行创建表命令 python manage.py createcachetable
View Code

e、Memcache缓存(python-memcached模块)

技术分享
# 此缓存使用python-memcached模块连接memcache

    CACHES = {
        default: {
            BACKEND: django.core.cache.backends.memcached.MemcachedCache,
            LOCATION: 127.0.0.1:11211,
        }
    }

    CACHES = {
        default: {
            BACKEND: django.core.cache.backends.memcached.MemcachedCache,
            LOCATION: unix:/tmp/memcached.sock,
        }
    }   

    CACHES = {
        default: {
            BACKEND: django.core.cache.backends.memcached.MemcachedCache,
            LOCATION: [
                172.19.26.240:11211,
                172.19.26.242:11211,
            ]
        }
    }
View Code

f、Memcache缓存(pylibmc模块)

技术分享
    # 此缓存使用pylibmc模块连接memcache
    
    CACHES = {
        default: {
            BACKEND: django.core.cache.backends.memcached.PyLibMCCache,
            LOCATION: 127.0.0.1:11211,
        }
    }

    CACHES = {
        default: {
            BACKEND: django.core.cache.backends.memcached.PyLibMCCache,
            LOCATION: /tmp/memcached.sock,
        }
    }   

    CACHES = {
        default: {
            BACKEND: django.core.cache.backends.memcached.PyLibMCCache,
            LOCATION: [
                172.19.26.240:11211,
                172.19.26.242:11211,
            ]
        }
    }
View Code

2、应用

a. 全站使用

技术分享
   使用中间件,经过一系列的认证等操作,如果内容在缓存中存在,则使用FetchFromCacheMiddleware获取内容并返回给用户,当返回给用户之前,判断缓存中是否已经存在,如果不存在则UpdateCacheMiddleware会将缓存保存至缓存,从而实现全站缓存

    MIDDLEWARE = [
        django.middleware.cache.UpdateCacheMiddleware,
        # 其他中间件...
        django.middleware.cache.FetchFromCacheMiddleware,
    ]

    CACHE_MIDDLEWARE_ALIAS = ""
    CACHE_MIDDLEWARE_SECONDS = ""
    CACHE_MIDDLEWARE_KEY_PREFIX = ""
View Code

b. 单独视图缓存

技术分享
    方式一:
        from django.views.decorators.cache import cache_page

        @cache_page(60 * 15)
        def my_view(request):
            ...

    方式二:
        from django.views.decorators.cache import cache_page

        urlpatterns = [
            url(r^foo/([0-9]{1,2})/$, cache_page(60 * 15)(my_view)),
        ]
View Code

c、局部视图使用

技术分享
    a. 引入TemplateTag

        {% load cache %}

    b. 使用缓存

        {% cache 5000 缓存key %}
            缓存内容
        {% endcache %}
View Code

更多:猛击这里


 

信号

Django中提供了“信号调度”,用于在框架执行操作时解耦。通俗来讲,就是一些动作发生的时候,信号允许特定的发送者去提醒一些接受者。

1、Django内置信号

    Model signals
        pre_init                    # django的modal执行其构造方法前,自动触发
        post_init                   # django的modal执行其构造方法后,自动触发
        pre_save                    # django的modal对象保存前,自动触发
        post_save                   # django的modal对象保存后,自动触发
        pre_delete                  # django的modal对象删除前,自动触发
        post_delete                 # django的modal对象删除后,自动触发
        m2m_changed                 # django的modal中使用m2m字段操作第三张表(add,remove,clear)前后,自动触发
        class_prepared              # 程序启动时,检测已注册的app中modal类,对于每一个类,自动触发
    Management signals
        pre_migrate                 # 执行migrate命令前,自动触发
        post_migrate                # 执行migrate命令后,自动触发
    Request/response signals
        request_started             # 请求到来前,自动触发
        request_finished            # 请求结束后,自动触发
        got_request_exception       # 请求异常后,自动触发
    Test signals
        setting_changed             # 使用test测试修改配置文件时,自动触发
        template_rendered           # 使用test测试渲染模板时,自动触发
    Database Wrappers
        connection_created          # 创建数据库连接时,自动触发

对于Django内置的信号,仅需注册指定信号,当程序执行相应操作时,自动触发注册函数:

技术分享
    from django.core.signals import request_finished
    from django.core.signals import request_started
    from django.core.signals import got_request_exception

    from django.db.models.signals import class_prepared
    from django.db.models.signals import pre_init, post_init
    from django.db.models.signals import pre_save, post_save
    from django.db.models.signals import pre_delete, post_delete
    from django.db.models.signals import m2m_changed
    from django.db.models.signals import pre_migrate, post_migrate

    from django.test.signals import setting_changed
    from django.test.signals import template_rendered

    from django.db.backends.signals import connection_created


    def callback(sender, **kwargs):
        print("xxoo_callback")
        print(sender,kwargs)

    xxoo.connect(callback)
    # xxoo指上述导入的内容
View Code
技术分享
from django.core.signals import request_finished
from django.dispatch import receiver

@receiver(request_finished)
def my_callback(sender, **kwargs):
    print("Request finished!")
View Code

2、自定义信号

a. 定义信号

            import django.dispatch
            pizza_done = django.dispatch.Signal(providing_args=["toppings", "size"])

b. 注册信号

        def callback(sender, **kwargs):
            print("callback")
            print(sender,kwargs)

        pizza_done.connect(callback)

c. 触发信号

        from 路径 import pizza_done

        pizza_done.send(sender=‘seven‘,toppings=123, size=456)

由于内置信号的触发者已经集成到Django中,所以其会自动调用,而对于自定义信号则需要开发者在任意位置触发。

更多:猛击这里

 


 

序列化

关于Django中的序列化主要应用在将数据库中检索的数据返回给客户端用户,特别的Ajax请求一般返回的为Json格式。

1、serializers

from django.core import serializers

ret = models.BookType.objects.all()

data = serializers.serialize("json", ret)

2、json.dumps

    import json

    #ret = models.BookType.objects.all().values(‘caption‘)
    ret = models.BookType.objects.all().values_list(‘caption‘)

    ret=list(ret)

    result = json.dumps(ret)

由于json.dumps时无法处理datetime日期,所以可以通过自定义处理器来做扩展,如:

import json  
from datetime import date  
from datetime import datetime  
  
class JsonCustomEncoder(json.JSONEncoder):  
   
    def default(self, field):  
    
        if isinstance(field, datetime):  
            return o.strftime(‘%Y-%m-%d %H:%M:%S‘)  
        elif isinstance(field, date):  
            return o.strftime(‘%Y-%m-%d‘)  
        else:  
            return json.JSONEncoder.default(self, field)  
  
  
# ds = json.dumps(d, cls=JsonCustomEncoder)  

 


 

 

- 性能相关
    user_list = models.UserInfo.objects.all()
        for row in user_list:
            # 只去取当前表数据

    select_related,主动连表查询【FK】
        
        user_list = models.UserInfo.objects.all().select_related(‘FK字段‘)
        for row in user_list:
            # 只去取当前表数据和FK表关联字段
    
    
        user_list = models.UserInfo.objects.values(...)
        for row in user_list:
            # 只去取当前表数据和FK表关联字段
    
        ==》 连表降低性能

    prefetch_related
        user_list = models.UserInfo.objects.all().prefetch_related(‘FK字段‘)

        # [obj,obj,obj]
        # 查询用户表models.UserInfo.objects.all() 1000
        # 把用户表中所有的ut_id拿到, 用户类型ID [1,2,3]
        # 把用户表中所有的ut_id拿到, 用户类型ID [21,21,31]
        # select * from UsetType where id in [1,2,3]
        # select * from xx where id in [21,21,31]
        user_list = models.UserInfo.objects.all().prefetch_related(‘ut‘,‘xx‘)
        for row in user_list:
            print(row.name, row.pwd, row.ut.caption)
    补充:
        # [obj,obj,obj]
        # user_list = models.UserInfo.objects.all().only(‘name‘)   # 只取某个字段 select name from userinfo 
        # user_list = models.UserInfo.objects.all().defer(‘name‘)  # 排除当前字段	
        # for row in user_list:
        #     print(row.pwd)

  

 


 分页

class Pagination(object):

    def __init__(self, current_page, obj_list, path, show_record_num=20, show_page_num=11):
        """
        :param current_page: 当前需要显示的页码
        :param obj_list: 需要分页的对象列表
        :param show_record_num: 每页显示的条数
        :param show_page_num: 显示在页面中的页码个数
        :return:
        """
        self.current_page = int(current_page)
        self.obj_list = obj_list
        self.path = path
        self.show_record_num = show_record_num
        self.show_page_num = show_page_num
        self.total_page, b = divmod(self.obj_list.count(), self.show_record_num)
        if b:
            self.total_page += 1

        if self.current_page < 1:
            self.current_page = 1
        elif self.current_page > self.total_page:
            self.current_page = self.total_page


    def pageStr(self):
        """
        返回页码字符串
        :return:
        """
        pagination_list = []
        if self.current_page <= 1:
            pagination_list.append("<li><a href=‘%s?page=1‘>上一页</a></li>"%self.path)
        else:
            pagination_list.append("<li><a href=‘%s?page=%s‘>上一页</a></li>" %(self.path, self.current_page - 1))

        half_page = int(self.show_page_num / 2)

        if self.total_page < self.show_page_num:
            first_page = 1
            last_page = self.total_page
        elif self.current_page <= half_page + 1:
            first_page = 1
            last_page = self.show_page_num
        elif self.current_page >= self.total_page - half_page:
            first_page = self.total_page - self.show_page_num + 1
            last_page = self.total_page
        else:
            first_page = self.current_page - half_page
            last_page = self.current_page + half_page

        for page_num in range(first_page, last_page + 1):
            if page_num == self.current_page:
                pagination_list.append(
                    "<li class=‘active‘><a href=‘%s?page=%s‘>%s</a></li>" % (self.path, page_num, page_num))
            else:
                pagination_list.append("<li><a href=‘%s?page=%s‘>%s</a></li>" % (self.path, page_num, page_num))

        if self.current_page >= self.total_page:
            pagination_list.append("<li><a href=‘%s?page=%s‘>下一页</a></li>" %(self.path, self.total_page))
        else:
            pagination_list.append("<li><a href=‘%s?page=%s‘>下一页</a></li>" % (self.path, self.current_page + 1))

        return ‘‘.join(pagination_list)


    def objList(self):
        """
        返回当前页在页面上需要显示的条目
        :return:
        """
        start_record_num = (self.current_page - 1) * self.show_record_num
        end_record_num = self.current_page * self.show_record_num
        return self.obj_list[start_record_num:end_record_num]

 

以上是关于缓存,信号,序列化,分页的主要内容,如果未能解决你的问题,请参考以下文章

python运维开发(二十)----models操作中间件缓存信号分页

Django基础---web框架 和 django 介绍3 --model --form---跨站请求---cookie--session--分页--缓存--信号

Django 缓存序列化信号

缓存序列化信号

django的缓存,信号,序列化

Python第十九课Django缓存,信号,序列化,抽屉页面分析