个人对爬虫框架的一些认知（二）

    今天给大家传授一个爬虫框架任务源相对通用的模型：     下面这个我是以mysql数据库为例，以好315网-企业招商信息获取为一个演示效果，其他的数据库和站点按照这个思路走可以了。     大致解释下每个字段所代表的意思和为什么要这么做：     构建这个模型的核心思想就是如何做到请求链接的一个区别标志和去重的一个问题，目前能想到的比较简单实用的就是将url压缩成MD5值存储起来，并把这个

>>阅读原文<<