转载

Django添加Last-Modified和ETag

用Django REST Framework做的REST API，其中有个API有这样的需求：

APP端请求这个API，服务器端从数据库读数据，返回json。返回的数据量稍微有些大，但是可能一年才修改一次，所以希望能够仅在数据修改的时候才传输数据，让APP端更新。

1. Last-Modified和ETag

HTTP响应头Last-Modified和ETag都能实现这个需求，关于二者的详细解释，这篇文章说的简单明了：http://www.iwms.net/n2029c12.aspx

原文摘抄如下：

1) 什么是”Last-Modified”?

在浏览器第一次请求某一个URL时，服务器端的返回状态会是200，内容是你请求的资源，同时有一个Last-Modified的属性标记此文件在服务期端最后被修改的时间，格式类似这样：

Last-Modified: Fri, 12 May 2006 18:53:33 GMT

客户端第二次请求此URL时，根据 HTTP 协议的规定，浏览器会向服务器传送 If-Modified-Since 报头，询问该时间之后文件是否有被修改过：

If-Modified-Since: Fri, 12 May 2006 18:53:33 GMT

如果服务器端的资源没有变化，则自动返回 HTTP 304 （Not Changed.）状态码，内容为空，这样就节省了传输数据量。当服务器端代码发生改变或者重启服务器时，则重新发出资源，返回和第一次请求时类似。从而保证不向客户端重复发出资源，也保证当服务器有变化时，客户端能够得到最新的资源。

2) 什么是”Etag”?

HTTP 协议规格说明定义ETag为“被请求变量的实体值” （参见 —— 章节 14.19）。另一种说法是，ETag是一个可以与Web资源关联的记号（token）。典型的Web资源可以一个Web页，但也可能是JSON或XML文档。服务器单独负责判断记号是什么及其含义，并在HTTP响应头中将其传送到客户端，以下是服务器端返回的格式：

ETag: "50b1c1d4f775c61:df3"

客户端的查询更新格式是这样的：

If-None-Match: W/"50b1c1d4f775c61:df3"

如果ETag没改变，则返回状态304然后不返回，这也和Last-Modified一样。本人测试Etag主要在断点下载时比较有用。

3) Last-Modified和Etags如何帮助提高性能?

聪明的开发者会把Last-Modified 和ETags请求的http报头一起使用，这样可利用客户端（例如浏览器）的缓存。因为服务器首先产生 Last-Modified/Etag标记，服务器可在稍后使用它来判断页面是否已经被修改。本质上，客户端通过将该记号传回服务器要求服务器验证其（客户端）缓存。

过程如下:

客户端请求一个页面（A）。
服务器返回页面A，并在给A加上一个Last-Modified/ETag。
客户端展现该页面，并将页面连同Last-Modified/ETag一起缓存。
客户再次请求页面A，并将上次请求时服务器返回的Last-Modified/ETag一起传递给服务器。
服务器检查该Last-Modified或ETag，并判断出该页面自上次客户端请求之后还未被修改，直接返回响应304和一个空的响应体。

2. Django中添加Last-Modified和ETag

Django中有三个decorator，可以为响应添加Last-Modified和ETag，参看：https://docs.djangoproject.com/en/1.8/topics/conditional-view-processing/

condition ( etag_func = None , last_modified_func = None )
etag ( etag_func )
last_modified(last_modified_func)

要注意的是，官网给的使用方法都是针对function-based view，如果你使用的是class-based view，需要在url配置中调用decorator，例如：

url(r'^rest/colours/$',     etag(get_colour_checksum)(views.ColourList.as_view()),     name='colour-list'),

要实现前面的需求的话，思路很简单，获得数据表上次修改的时间或者给数据表算个hash值就行了。

一开始搜到了一个Mysql获取table最近更新时间的方法：http://stackoverflow.com/questions/307438/how-can-i-tell-when-a-mysql-table-was-last-updated

SELECT UPDATE_TIME FROM   information_schema.tables WHERE  TABLE_SCHEMA = 'dbname'    AND TABLE_NAME = 'tabname'

在自己的数据库上试了一下，返回却是NULL。仔细一看评论， 这个方法在MyISAM上有用，但是在InnoDB上没有用 。只好再找其他办法。

后来又找到一个能查看Table Checksum的语句：http://dev.mysql.com/doc/refman/5.5/en/checksum-table.html

CHECKSUM TABLE tbl_name [, tbl_name] ... [ QUICK | EXTENDED ]

测试有用！于是就用这个语句作为了生成ETag的方法。

3. 通过cache framework添加Last-Modified和ETag

因为我使用了Django的cache framework（https://docs.djangoproject.com/en/1.8/topics/cache/），将该请求的缓存时间设置为5分钟。所以有三个响应头部按照我设置的5分钟缓存时间被自动添加：

Cache-Control: max-age=5m
Last-Modified: 2015 Sep 27 11:38:00
Expires: 2015 Sep 27 11:43:00

但是5分钟之后，这个缓存会被刷新，Last-Modified的时间也会相应被刷新，这样无法满足我前面说到的需求。那么应该怎么加入ETag呢？

通过阅读UpdateCacheMiddleware源码，我发现它在处理response的时候调用了函数 patch_response_headers，该函数源码如下：

def patch_response_headers(response, cache_timeout=None): """ Adds some useful headers to the given HttpResponse object:  ETag, Last-Modified, Expires and Cache-Control Each header is only added if it isn't already set. cache_timeout is in seconds. The CACHE_MIDDLEWARE_SECONDS setting is used by default. """ if cache_timeout is None:  cache_timeout = settings.CACHE_MIDDLEWARE_SECONDS if cache_timeout < 0:  cache_timeout = 0  # Can't have max-age negative if settings.USE_ETAGS and not response.has_header('ETag'):  if hasattr(response, 'render') and callable(response.render):   response.add_post_render_callback(_set_response_etag)  else:   response = _set_response_etag(response) if not response.has_header('Last-Modified'):  response['Last-Modified'] = http_date() if not response.has_header('Expires'):  response['Expires'] = http_date(time.time() + cache_timeout) patch_cache_control(response, max_age=cache_timeout)