【原创】python内存泄漏以及python flask框架莫名coredump

1.python内存泄漏

今天在看服务器上的进程时，用top查的时候，发现一个一直跑的脚本程序内存居然达到了1.6G，这个脚本我有印象，一开始仅占用20M左右，显然是内存泄漏了。

用gc和objgraph，主要是objgraph，查看都是那些对象在增加，发现是dict/tuple这些内置类型的对象在增加，这个比较麻烦，由于可能程序里面用到这种类型的比较多，但咱们的代码简单，因此一下在就知道问题在哪儿了，再次注释如下。

 

2. python flask莫名core dump

日志中有以下日志：

error: cannot switch to a different thread
(libev) error creating signal/async pipe: Too many open files

发现当前文件打开限制比较低，修改成65535

发现没用，猜测确定仍是会报错，猜测是由于打开的文件描述符不断增长致使的问题，因此用losf查看进程打开的文件，发现其中eventpoll这个文件描述符一直再增加，肯定了这个缘由致使的就要找到为何了

深挖缘由，发现若是没有请求过去的话是不会增加描述符的，所以我须要肯定在访问的时候进程都作了啥（一开始没有想到的，只是一直顺着接口部分找缘由，睡了一觉从新整理思路才开始找）。发现有问题的地方：

问题模块访问时多了俩个fcntl调用(用strace -p查看)：

 

查看圈中的部分，发现不知为什么将这个socket更改成了非阻塞的了，我想这才是致使这个问题的主要缘由了。

继续查是什么引发的：

因为在flask中使用了grequests库，致使底层的socket行为变为非阻塞的了而后我在测试环境使用的是flask自带的werkzeug server，里面的实现可能不完善，致使文件描述符泄漏。若是我使用uwsgi之类的server，不会出现泄漏。