Python实战之如何爬取豆瓣电影？本文教你

  爬虫又称为网页蜘蛛，是一种程序或脚本。 但重点在于，它能够按照一定的规则，自动获取网页信息。 爬虫的基本原理——通用框架 1.挑选种子URL； 2.讲这些URL放入带抓取的URL列队； 3.取出带抓取的URL，下载并存储进已下载网页库中。此外，讲这些URL放入带抓取URL列队，进入下一循环。 4.分析已抓取列队中的URL，并且将URL放入带抓取URL列队，从而进去下一循环。 5.光理论是不够的

>>阅读原文<<