爬虫：Robots协议 及位置

Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”。Robots协议是通过robots.txt来广而告知的。 为什么要有这个东东？ 网站的一些内容是希望正常被用户访问的，而不是一些蜘蛛侠（这些可能把网站搞挂掉、也有可能网站的一些隐私或商业价值较高的信息被同行或有些信息收集人员搞走等）无序或不允许的方式访问,这些都大大增强了网站的无形和有形的成本，也降低了竞争力。 尽管各位

>>阅读原文<<