pyspider爬虫框架(增量爬虫)

pyspider: 爬虫框架, 基于puquery实现的. 优势: 1. 基于多线程异步的任务调度方式; 可以实现爬虫的高并发爬取, 注意使用代理; 2. 它提供了一个WedUI的爬虫任务管理界面, 可以实现爬虫的停止, 启动, 调试, 支持定时爬取任务; 3. 代码简洁; 4. 支持动态网站的爬取; requests/urllib只能爬取静态网站. phantomjs phantomjs: 幽灵

>>阅读原文<<