robots.txt

Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站经过Robots协议告诉搜索引擎哪些页面能够抓取，哪些页面不能抓取。html 简介:服务器 robots.txt文件是一个文本文件，使用任何一个常见的文本编辑器，好比Windows系统自带的Notepad，就能够建立和编辑它[1]  。robots.txt是一个协

>>阅读原文<<