twisted异步方式保存数据到mysql

在某些爬虫项目下，咱们须要每次执行一条插入语句，就当即调用commit方法更新数据库，若是爬取时间太长，中途可能被迫中断，这样程序就不能执行close_spider中的commit。但若是在insert_db中直接加入commit，又会使程序执行变得很慢。这里就能够使用Twisted中提供的以异步方式多线程访问数据库的模块adbapi，能够显著提供程序访问数据库的效率。python adbapi.

>>阅读原文<<