蜘蛛爬行策略或网络抓取

这些处理被称为网络抓取或者蜘蛛爬行。很多站点，尤其是搜索引擎，都使用爬虫提供最新的数据，它主要用于提供它访问过页面的一个副本，然后，搜索引擎就可以对得到的页面进行索引，以提供快速的访问。 打开百度APP，查看更多高清图片 蜘蛛也可以在web上用来自动执行一些任务，例如检查连接，确认html代码；也可以用来抓取网页上某种特定类型信息，例如抓取电子邮件地址（通常用于垃圾邮件）。 一个网络蜘蛛就是一种机

>>阅读原文<<