Django数据库链接丢失问题

问题

在Django中使用mysql偶尔会出现数据库链接丢失的状况，错误一般有以下两种

1. `OperationalError: (2006, 'MySQL server has gone away')`  
1. `OperationalError: (2013, 'Lost connection to MySQL server during query')`

查询mysql全局变量SHOW GLOBAL VARIABLES;能够看到wait_timeout，此变量表示链接空闲时间。若是客户端使用一个链接查询屡次数据库，若是连续查询则没有问题，若是查询几回后停顿超过wait_timeout后再次查询就会出现数据库链接丢失。

复现

下面用Django复现下次问题：

1. 将mysql的wait_timeout设置为10秒，而后进入django shell模拟查询（如下错误信息只保留了部分）

In[1]：import time
In[2]：from django.contrib.auth.models import User
In[3]：list(User.objects.filter(id=1))
Out[3]：[<User: admin>]
In[4]：time.sleep(15) # 模拟比较慢的代码（其中没有查询数据库的代码），或者空闲什么都不操做一段时间，此时间要比`wait_timeout`大一些
list(User.objects.filter(id=1))
Traceback (most recent call last):

  File "<ipython-input-4-3574ae8220ee>", line 1, in <module>
    list(User.objects.filter(id=1))

  File "/usr/lib/python3.6/site-packages/pymysql/connections.py", line 1037, in _read_bytes
    CR.CR_SERVER_LOST, "Lost connection to MySQL server during query")
django.db.utils.OperationalError: (2013, 'Lost connection to MySQL server during query')

寻求

那么以上问题就基本说明了是空闲时间过长致使的错误。
django为了减小没必要要的数据库链接、关闭，复用了数据库链接，当开始一个请求后创建一个链接池存放链接，以后这次请求都复用一个链接。那猜想就是django保存链接的比wait_timeout长了，若是保存时间短一些就能够从新创建链接避免此错误了。
没错，官方文档也已经说明了此问题，设置数据库 CONN_MAX_AGE参数，示例：

DATABASES = {
    "default": {
            'ENGINE': 'django.db.backends.mysql',
            'NAME': '',
            'USER': '',
            'PASSWORD': '',
            'HOST': '',
            'CONN_MAX_AGE': 9  # 比wait_timeout小一些
    }
}

当咱们测试后却发现，事情并不是想一想中那么简单。为什么错误依旧出现？这一切的背后， 是人性的扭曲仍是道德的沦丧?敬请收看下节《突破》。

突破

对django源码中CONN_MAX_AGE进行了一番搜索，顺藤摸瓜发现了django关闭失效链接的方法django.db.close_old_connections()：

# Register an event to reset transaction state and close connections past
# their lifetime.
def close_old_connections(**kwargs):
    for conn in connections.all():
        conn.close_if_unusable_or_obsolete()

signals.request_started.connect(close_old_connections)
signals.request_finished.connect(close_old_connections)

重点在最后两行，经过signal实现特定事件时执行此方法，两个特定事件顾名思义是请求开始和请求结束。而咱们报错的是在一次请求中，因此此法一般无效，仅仅是实现每一个请求关闭并从新创建链接。

解决

复现问题的django shell不要关闭，继续执行以下代码：

In[5]：from django.db import close_old_connections
In[6]：close_old_connections()
In[7]：list(User.objects.filter(id=1))
Out[7]: [<User: admin>]

调用django.db.close_old_connections后再次查询就没有错误了。
那么咱们要避免此错误就要执行每一个数据库查询前调用django.db.close_old_connections方法。

1. 通常状况不会出现此类问题，由于一个请求中不间断进行数据库查询，无需每一个请求调用此方法，杞人忧天。
2. 有时候一个请求中数据量较大，会查询数据库后进行一段时间其余（不涉及数据库）处理，好比先查询一些数据，而后将数据处理、生成excel、保存文件并生成url。已知此过长须要很是长时间，那么最终url保存数据库就最好先调用django.db.close_old_connections防止链接丢失

题外话
实际上②所述状况最好从根本上解决处理慢的问题，也能够换做异步处理，从根本上解决问题。