十个Python爬虫武器库示例，十个爬虫框架，十种实现爬虫的方法！

    通常比价小型的爬虫需求，我是直接使用requests库 + bs4就解决了，再麻烦点就使用selenium解决js的异步 加载问题。相对比较大型的需求才使用框架，主要是便于管理以及扩展等。html 1.Scrapypython Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 能够应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。web   快速入门数据库 安

>>阅读原文<<