Python分布式爬虫原理

转载请注明出处：http://blog.csdn.net/yiliumu/article/details/21335245html 首先，咱们先来看看，若是是人正常的行为，是如何获取网页内容的。python (1)打开浏览器，输入URL，打开源网页 (2)选取咱们想要的内容，包括标题，做者，摘要，正文等信息 (3)存储到硬盘中 上面的三个过程，映射到技术层面上，其实就是：网络请求，抓取结构化数据，

>>阅读原文<<