什么样的爬虫才是好爬虫：Robots协议探究

网站的管理者们通常会有这样一种心态：一方面期待百度、Google这样的搜索引擎来抓取网站的内容，另一方面又很厌恶其他来路不明的网络爬虫抓取自己的信息。正是因为这样，才有“好爬虫”、“坏爬虫”这样的说法。 提到“好爬虫”，就不得不提网络爬虫与web之间的访问授权协议——Robots协议了。 Robots协议的定义 Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robo

>>阅读原文<<