Python新手学习网络爬虫要做什么？

爬虫，被称为网络机器人，在FOAF社区中间，更经常的称为网页追逐者，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本，主要用于搜索引擎,它将一个网站的所有内容与链接进行阅读，并建立相关的全文索引到数据库中，然后跳到另一个网站。 传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，再不断从当前页面上抽取新的URL放入队列，直到满足系统的一定停止条件。   我们自学一段时间Pyt

>>阅读原文<<