Django缓存系统实现过程解析


Posted in Python onAugust 02, 2019

在动态网站中,用户每次请求一个页面,服务器都会执行以下操作:查询数据库,渲染模板,执行业务逻辑,最后生成用户可查看的页面。

这会消耗大量的资源,当访问用户量非常大时,就要考虑这个问题了。

缓存就是为了防止重复计算,把那些消耗了大量资源的结果保存起来,下次访问时就不用再次计算了。缓存的逻辑:

given a URL, try finding that page in the cache
if the page is in the cache:
 return the cached page
else:
 generate the page
 save the generated page in the cache (for next time)
 return the generated page

Django提供了不同粒度的缓存:你可以缓存某个页面,也可以只缓存很难计算、很消耗资源的某个部分,或者直接缓存整个网站。

Django也可以和一些”下游”缓存一起协作,例如Squid和基于浏览器的缓存,这些类型的缓存你不直接控制,但是你可以提供给他们站点哪部分应该被缓存和怎样被缓存(通过HTTP headers)。

设置缓存

在settings中的CACHES中设置缓存,下面是几个可用的缓存选项:

Memcached

Django目前原生支持的最快最有效的缓存系统。要使用Memcached,需要下载Memcached支持库,一般是python-memcached或者pylibmc。

然后设置BACKEND为django.core.cache.backends.memcached.MemcachedCache(使用python-memcached时)或者django.core.cache.backends.memcached.PyLibMCCache(使用pylibmc时)。

设置LOCATION为ip:port或者unix:path。例如:

CACHES = {
 'default': {
  'BACKEND': 'django.core.cache.backends.memcached.MemcachedCache',
  'LOCATION': '127.0.0.1:11211',
 }
}

或者

CACHES = {
 'default': {
  'BACKEND': 'django.core.cache.backends.memcached.MemcachedCache',
  'LOCATION': 'unix:/tmp/memcached.sock',
 }
}

当使用pylibmc时,去掉unix:/前缀:

CACHES = {
 'default': {
  'BACKEND': 'django.core.cache.backends.memcached.PyLibMCCache',
  'LOCATION': '/tmp/memcached.sock',
 }
}

还可以在多台机器上运行Memcached进程,程序将会把这组机器当作一个单独的缓存,而不需要在每台机器上复制缓存值:

CACHES = {
 'default': {
  'BACKEND': 'django.core.cache.backends.memcached.MemcachedCache',
  'LOCATION': [
   '172.19.26.240:11211',
   '172.19.26.242:11212',
   '172.19.26.244:11213',
  ]
 }
}

由于Memcached是基于内存的缓存,数据只存储在内存中,如果服务器死机的话数据会丢失,所以不要把内存缓存作为唯一的数据存储方法。

Database caching

Django也可以把缓存数据存储在数据库中。

CACHES = {
 'default': {
  'BACKEND': 'django.core.cache.backends.db.DatabaseCache',
  'LOCATION': 'my_cache_table',
 }
}

LOCATION为数据库中table的名字,任意起,在数据库中未被使用过即可以。

创建cache table:

python manage.py createcachetable

使用多数据库时,也需要为cache table写Router:

class CacheRouter(object):
 """A router to control all database cache operations"""
 
 def db_for_read(self, model, **hints):
  "All cache read operations go to the replica"
  if model._meta.app_label == 'django_cache':
   return 'cache_replica'
  return None
 
 def db_for_write(self, model, **hints):
  "All cache write operations go to primary"
  if model._meta.app_label == 'django_cache':
   return 'cache_primary'
  return None
 
 def allow_migrate(self, db, app_label, model_name=None, **hints):
  "Only install the cache model on primary"
  if app_label == 'django_cache':
   return db == 'cache_primary'
  return None

Filesystem caching

也可以使用文件来存储缓存数据。

CACHES = {
 'default': {
  'BACKEND': 'django.core.cache.backends.filebased.FileBasedCache',
  'LOCATION': '/var/tmp/django_cache',
 }
}

LOCATION为缓存数据存储目录。

windows中:

CACHES = {
 'default': {
  'BACKEND': 'django.core.cache.backends.filebased.FileBasedCache',
  'LOCATION': 'c:/foo/bar',
 }
}

Local-memory caching

Django默认使用的缓存系统,数据存储在本地内存中:

CACHES = {
 'default': {
  'BACKEND': 'django.core.cache.backends.locmem.LocMemCache',
  'LOCATION': 'unique-snowflake',
 }
}

Dummy caching (for development)

开发时使用的:

CACHES = {
 'default': {
  'BACKEND': 'django.core.cache.backends.dummy.DummyCache',
 }
}

Using a custom cache backend

也可以使用其它的缓存系统,比如Redis,django-redis地址https://github.com/niwinz/django-redis 。

下载:pip install django-redis

设置:

CACHES = {
 "default": {
  "BACKEND": "django_redis.cache.RedisCache",
  "LOCATION": "redis://127.0.0.1:6379/1",
  "OPTIONS": {
   "CLIENT_CLASS": "django_redis.client.DefaultClient",
  }
 }
}

Cache arguments

CACHES设置中有几个额外的参数:

TIMEOUT:缓存超时时间,默认为300s,可以设置为None,即永不超时。

OPTIONS : locmem, filesystem和database缓存系统这些有自己的剔除策略的系统有以下的参数:

MAX_ENTRIES : 缓存中存放的最大条目数,大于这个数时,旧的条目将会被删除,默认为300.

CULL_FREQUENCY:当达到MAX_ENTRIES的时候,被接受的访问的比率。实际的比率是1/cull_frequency,所以设置为2就是在达到max_entries时去除一半数量的缓存,设置为0意味着达到max_entries时,缓存将被清空。这个值默认是3。

KEY_PREFIX:一个会自动列入缓存key值的的字符串。

VERSION:缓存key值生成时使用的版本数字。

KEY_FUNCTION:key值最终生成所使用的方法。

缓存网站

要缓存整个网站,首先添加两个中间件:

MIDDLEWARE = [
 'django.middleware.cache.UpdateCacheMiddleware',
 'django.middleware.common.CommonMiddleware',
 'django.middleware.cache.FetchFromCacheMiddleware',
]

注意update中间件要放在首位,fetch中间件放在最后。

在settings中添加以下值:

  • CACHE_MIDDLEWARE_ALIAS:存储用的缓存别名
  • CACHE_MIDDLEWARE_SECONDS:页面被缓存的时间
  • CACHE_MIDDLEWARE_KEY_PREFIX:当缓存被不同的站点使用时,用来防止缓存key值冲突的,一般设为站点名字。

FetchFromCacheMiddleware中间件用来缓存通过GET和HEAD方法获取的状态码为200的响应。同一个url,带有不同的查询字符串,会当做不同的页面分别缓存。

UpdateCacheMiddleware中间件在响应HttpResponse中设置几个headers:

  • 设置Last-Modified为页面最新的刷新时间,设置Expires为过期时间(现在时间加CACHE_MIDDLEWARE_SECONDS)
  • 设置Cache-Control页面最大有效期(CACHE_MIDDLEWARE_SECONDS)

views逻辑函数也可以自己设置过期时间:

  • 使用django.views.decorators.cache.cache_control()设置缓存过期时间
  • 使用django.views.decorators.cache.never_cache()禁止缓存

缓存页面

使用django.views.decorators.cache.cache_page()来缓存某个页面:

from django.views.decorators.cache import cache_page
 
@cache_page(60 * 15)
def my_view(request):
 ...

60*15是缓存15分钟。

cache参数可以设置使用CACHES中的哪一个cache系统,默认是default:

@cache_page(60 * 15, cache="special_cache")
def my_view(request):
 ...

key_prefix参数和CACHE_MIDDLEWARE_KEY_PREFIX设置起得作用相同:

@cache_page(60 * 15, key_prefix="site1")
def my_view(request):
 ...

可以在url中使用此方法:

from django.views.decorators.cache import cache_page
urlpatterns = [
 url(r'^foo/([0-9]{1,2})/$', cache_page(60 * 15)(my_view)),
]

模板片段缓存

{% load cache %}
{% cache 500 sidebar %}
 .. sidebar ..
{% endcache %}

{% cache %}模板标签会缓存block内容,至少包括两个参数:缓存时间和缓存片段的name。

可以根据变化的动态数据为一个片段缓存不同的copies:

{% load cache %}
{% cache 500 sidebar request.user.username %}
 .. sidebar for logged in user ..
{% endcache %}

CACHE API

根据CACHES设置中的cache别名获取cache系统:

>>> from django.core.cache import caches
>>> cache1 = caches['myalias']
>>> cache2 = caches['myalias']
>>> cache1 is cache2
True

获取默认default的cache:

>>> from django.core.cache import cache

基本用法set(key, value, timeout) 和get(key)::

>>> cache.set('my_key', 'hello, world!', 30)
>>> cache.get('my_key')
'hello, world!'

key为字符串,value为 picklable的python对象。timeout设置为None时,缓存永不过时,设置为0时不缓存。

设置Vary header

Django默认是使用url地址作为cache的key值的,也就是对相同的url请求会返回相同的缓存。如果想根据不同的请求首部字段(比如cookie, language, user-agent)缓存不同的内容,可以设置Vary首部字段。

from django.views.decorators.vary import vary_on_headers
 
@vary_on_headers('User-Agent')
def my_view(request):
 ...

上述代码会为不同的user-agent设置单独的缓存。也可以传多个headers:

@vary_on_headers('User-Agent', 'Cookie')
def my_view(request):
 ...

上述代码当user-agent和cookie都相同时才会有相同的缓存。

cookie是比较常用的,有单独的装饰器,下面代码是相通的:

@vary_on_cookie
def my_view(request):
 ... 
@vary_on_headers('Cookie')
def my_view(request):
 ...

Cache-Control头部

可以使用cache_control装饰器来设定Cache-Control头部。

设置对特定的用户提供缓存服务:

from django.views.decorators.cache import cache_control
@cache_control(private=True)
def my_view(request):
 ...

设置时间:

from django.views.decorators.cache import cache_control
@cache_control(max_age=3600)
def my_view(request):
 ...

等等,可用的Cache-Control指令(IANA registry)都可使用。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python实现端口复用实例代码
Jul 03 Python
Python实现的简单算术游戏实例
May 26 Python
Django中更新多个对象数据与删除对象的方法
Jul 17 Python
Python获取指定字符前面的所有字符方法
May 02 Python
pytorch + visdom CNN处理自建图片数据集的方法
Jun 04 Python
用Python shell简化开发
Aug 08 Python
pandas DataFrame 行列索引及值的获取的方法
Jul 02 Python
python暴力解压rar加密文件过程详解
Jul 05 Python
在PyCharm中实现添加快捷模块
Feb 12 Python
Python分析微信好友性别比例和省份城市分布比例的方法示例【基于itchat模块】
May 29 Python
anaconda3安装及jupyter环境配置全教程
Aug 24 Python
Visual Studio code 配置Python开发环境
Sep 11 Python
tensor和numpy的互相转换的实现示例
Aug 02 #Python
Django文件存储 自己定制存储系统解析
Aug 02 #Python
使用pycharm在本地开发并实时同步到服务器
Aug 02 #Python
Django文件存储 默认存储系统解析
Aug 02 #Python
Django 迁移、操作数据库的方法
Aug 02 #Python
Django用户认证系统 组与权限解析
Aug 02 #Python
python3中eval函数用法使用简介
Aug 02 #Python
You might like
PHP 加密解密内部算法
2010/04/22 PHP
PHP基础之运算符的使用方法
2013/04/28 PHP
Zend Framework 2.0事件管理器(The EventManager)入门教程
2014/08/11 PHP
form表单传递数组数据、php脚本接收的实例
2017/02/09 PHP
PHP 使用二进制保存用户状态的实例
2018/01/29 PHP
html组件不可输入(只读)同时任何组件都有效
2013/04/01 Javascript
JS实现匀速运动的代码实例
2013/11/29 Javascript
javascript写的一个模拟阅读小说的程序
2014/04/04 Javascript
director.js实现前端路由使用实例
2015/02/03 Javascript
设置jQueryUI DatePicker默认语言为中文
2016/06/04 Javascript
JS实现的手机端精简幻灯片效果
2016/09/05 Javascript
AngularJS入门教程之模块化操作用法示例
2016/11/02 Javascript
js实现短信发送倒计时功能(正则验证)
2017/02/10 Javascript
关于Node.js的events.EventEmitter用法介绍
2017/04/01 Javascript
node.js连接MongoDB数据库的2种方法教程
2017/05/17 Javascript
JS回调函数基本定义与用法实例分析
2017/05/24 Javascript
Angular 2.x学习教程之结构指令详解
2017/05/25 Javascript
老生常谈js中的MVC
2017/07/25 Javascript
Bootstrap Tooltip显示换行和左对齐的解决方案
2017/10/11 Javascript
详解JS函数stack size计算方法
2018/06/18 Javascript
深入Vue-Router路由嵌套理解
2018/08/13 Javascript
Vue.js中对css的操作(修改)具体方式详解
2018/10/30 Javascript
Python中使用asyncio 封装文件读写
2016/09/11 Python
Python在不同目录下导入模块的实现方法
2017/10/27 Python
pandas 对每一列数据进行标准化的方法
2018/06/09 Python
Tensorflow中的placeholder和feed_dict的使用
2018/07/09 Python
实例介绍Python中整型
2019/02/11 Python
彻底理解Python中的yield关键字
2019/04/01 Python
使用CSS3来代替JS实现交互
2017/08/10 HTML / CSS
英国天然保健品网站:Simply Supplements
2017/03/22 全球购物
退休教师欢送会主持词
2014/03/31 职场文书
《称象》教学反思
2014/04/25 职场文书
万里长城导游词
2015/01/30 职场文书
体育教师研修感悟
2015/11/18 职场文书
浅谈Nginx 中的两种限流方式
2021/03/31 Servers
HAM-2000摩机图
2021/04/22 无线电