什么是网络爬虫，它们如何工作！（原创）

什么是爬虫，它们如何工作？ 这些搜寻器通过各种方式发现内容。一种是纯粹的发现，爬虫在其中访问URL，然后将有关网站内容类型的信息返回给搜索引擎。实际上，现代爬虫有很多信息可以获取-但是稍后我们将讨论如何使用它。搜寻器用来发现内容的另一种方法是遵循从先前搜寻的网站找到的所有URL。从某种意义上讲，它很像病毒，它想要遍历/传播所有可能的东西。 让我们可视化一些事情… 下图是这些Web爬网程序如何工作的

>>阅读原文<<