web之robots.txt

什么是roots协议

robots协议也叫robots.txt（统一小写）是一种存放于 网站根目录下的 ASCII编码的 文本文件，它一般告诉网络 搜索引擎的漫游器（又称 网络蜘蛛），此网站中的哪些内容是不该被搜索引擎的漫游器获取的，哪些是能够被漫游器获取的。由于一些系统中的URL是大小写敏感的，因此robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下。若是想单独定义搜索引擎的漫游器访问子目录时的行为，那么能够将自定的设置合并到根目录下的robots.txt，或者使用robots 元数据（Metadata，又称元数据）。

robots协议并非一个规范，而只是约定俗成的，因此并不能保证网站的隐私。

robots.txt文件是一个 文本文件，使用 任何一个常见的 文本编辑器，好比 Windows系统自带的Notepad，就能够建立和编辑它

robots.txt是一个协议，而不是一个 命令。robots.txt是 搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉 蜘蛛程序在服务器上什么文件是能够被查看的。

当一个搜索蜘蛛访问一个 站点时，它会首先 检查该站点 根目录下是否存在robots.txt，若是存在，搜索机器人就会按照该文件中的内容来肯定访问的范围；若是该文件不存在，全部的搜索蜘蛛将可以访问网站上全部没有被口令保护的页面。百度官方建议，仅当您的网站包含不但愿被 搜索引擎收录的内容时，才须要使用robots.txt文件。若是您但愿搜索引擎收录网站上全部内容，请勿创建robots.txt文件。

使用原则

Robots协议是国际互联网界通行的道德规范，基于如下原则创建：

一、 搜索技术应服务于人类，同时尊重信息提供者的意愿，并维护其隐私权；

二、网站有义务保护其使用者的我的信息和 隐私不被侵犯。

文件写法

User-agent: * 这里的*表明的全部的搜索引擎种类，*是一个 通配符

Disallow: /admin/ 这里定义是禁止爬寻 admin目录下面的目录

Disallow: /require/ 这里定义是禁止爬寻require目录下面的 目录

Disallow: /ABC/ 这里定义是禁止爬寻ABC目录下面的目录

Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的全部以".htm"为后缀的URL(包含 子目录)。

Disallow: /*?* 禁止访问网站中全部包含问号 (?) 的网址

Disallow: /.jpg$ 禁止抓取网页全部的.jpg格式的 图片

Disallow:/ab/adc.html 禁止爬取ab文件夹下面的adc.html文件。

Allow: /cgi-bin/　这里定义是容许爬寻cgi-bin目录下面的目录

Allow: /tmp 这里定义是容许爬寻tmp的整个目录

Allow: .htm$ 仅容许访问以".htm"为后缀的URL。

Allow: .gif$ 容许抓取网页和gif格式图片

Sitemap: 网站地图 告诉爬虫这个页面是网站地图

安全隐患

若是robots.txt文件编辑的太过详细，反而会泄露网站的敏感目录或者文件，好比网站后台路径，从而得知其使用的系统类型，从而有针对性地进行利用。