robots，白，黑，灰帽

robots.txt robots协议（也称为爬虫协议，爬虫规则，机器人协议等）也就是robots.txt,网站通过robots协议告诉搜索引擎哪些页面可以抓取，那些页面不希望抓取。 Robots协议是网站国际互联网界通行的道德规范，其目的是保护网站数据和敏感信息，确保用户个人信息和隐私不被侵犯。 因其不是命令，故需要搜索引擎自觉遵守 robots.txt放置位置 roboats.txt文件应该放

>>阅读原文<<