Python爬虫（知乎live）从入门到进阶

网络爬虫 网络爬虫时一个自动的通过网络抓取互联网上的网页的程序，获取数据或者是提交数据给网站都是爬虫应该有的。 1、优化爬虫爬取方法 针对网络延时，页面渲染速度，反爬虫策略： （1）并发分布式的爬虫，利用队列减少数据库的访问，批量取，临时存储数据 （2）选择合适的数据库，并建立正确的索引，用Nosql数据库如MongoDB （3）了解业务，减少请求次数，API调用尽可能用批量 （4）并发效率并不是

>>阅读原文<<