完整项目|scrapy爬取伯乐在线保存数据完成

今天使用scrapy框架来爬取伯乐在线的文章内容，保存到数据库，需要注意的是在保存缩略图的时候可能会报错，这是因为python没有安装pillow模块，安装就好了，还用到了itemloader来进行item的优化，具体代码如下： 程序主函数 import scrapy import re import datetime, time from bo_bole.items import BoBoleI

>>阅读原文<<