Robots协议具体解释

禁止搜索引擎收录的方法（robots.txt）

1、什么是robots.txt文件?

搜索引擎经过一种程序robot（又称spider），本身主动訪问互联网上的网页并获取网页信息。您可以在您的站点中建立一个纯文本文件robots.txt，在这个文件里声明该站点中不想被robot訪问的部分，这样，该站点的部分或全部内容就可以不被搜索引擎收录了，或者指定搜索引擎仅仅收录指定的内容。

2、robots.txt文件放在哪里?

robots.txt文件应该放在站点根文件夹下。举例来讲，当robots訪问一个站点（比方http://www.abc.com）时，首先会检查该站点中是否存在http://www.abc.com/robots.txt这个文件，假设机器人找到这个文件，它就会依据这个文件的内容，来肯定它訪问权限的范围。

站点 URL 对应的 robots.txt的 URL

http://www.w3.org/ http://www.w3.org/robots.txt

http://www.w3.org:80/ http://www.w3.org:80/robots.txt

http://www.w3.org:1234/ http://www.w3.org:1234/robots.txt

http://w3.org/ http://w3.org/robots.txt

3、robots.txt文件的格式

"robots.txt"文件包括一条或不少其它的记录，这些记录经过空行分开（以CR,CR/NL, or NL做为结束符），每一条记录的格式例如如下所看到的：":"。

在该文件里可以使用#进行注解，具体用法和UNIX中的惯例同样。该文件里的记录一般以一行或多行User-agent開始，后面加上若干Disallow行,具体状况例如如下：

User-agent:

该项的值用于描写叙述搜索引擎robot的名字，在"robots.txt"文件里，假设有多条User-agent记录说明有多个robot会受到该协议的限制，对该文件来讲，至少要有一条User-agent记录。假设该项的值设为*，则该协议对不论什么机器人均有效，在"robots.txt"文件里，"User-agent：*"这种记录仅仅能有一条。

Disallow :

　　该项的值用于描写叙述不但愿被訪问到的一个URL，这个URL可以是一条完整的路径，也可以是部分的，不论什么以Disallow开头的URL均不会被robot訪问到。好比"Disallow: /help"对/help.html和/help/index.html都不一样意搜索引擎訪问，而"Disallow:/help/"则赞成robot訪问/help.html，而不能訪问/help/index.html。不论什么一条Disallow记录为空，说明该站点的所有部分都赞成被訪问，在"/robots.txt"文件里，至少要有一Disallow记录。假设"/robots.txt"是一个空文件，则对于所有的搜索引擎robot，该站点都是开放的。

4、robots.txt文件使用方法举例

例1.            禁止所有搜索引擎訪问站点的不论什么部分

下载该robots.txt文件 User-agent: *

Disallow: /

例2.            赞成所有的robot訪问

(或者也可以建一个空文件 "/robots.txt" file)

User-agent: *

Disallow:

例3.            禁止某个搜索引擎的訪问

User-agent: BadBot

Disallow: /

例4.            赞成某个搜索引擎的訪问

User-agent: baiduspider

Disallow:

User-agent: *

Disallow: /

例5. 一个简单样例

在这个样例中，该站点有三个文件夹对搜索引擎的訪问作了限制，即搜索引擎不会訪问这三个文件夹。

需要注意的是对每一个文件夹必须分开声明，而不要写成 "Disallow: /cgi-bin/ /tmp/"。

User-agent:后的* 具备特殊的含义，表明"any robot"，因此在该文件里不能有"Disallow:

/tmp/*" or "Disallow: *.gif"这种记录出现.

User-agent: *

Disallow: /cgi-bin/

Disallow: /tmp/

Disallow: /~joe/

5、robots.txt文件參考资料

robots.txt文件的更详细设置,请參看下面资料：

· Web Server Administrator's Guide to the Robots Exclusion Protocol

· HTML Author's Guide to the Robots Exclusion Protocol

· The original 1994 protocol description, as currently deployed

· The revised Internet-Draft specification, which is not yet completed or implemented

 

在你的主页中为Web Robot设计路标

Internet愈来愈酷，WWW的知名度如日中天。在Internet上公布公司信息、进行电子商务已经从时髦演化成时尚。做为一个WebMaster，你可能对HTML、Javascript、Java、 ActiveX了如指掌，但你是否知道什么是WebRobot？你是否知道Web Robot和你所设 计的主页有什么关系？

　　 Internet 上的流浪汉--- Web Robot

有时你会莫名其妙地发现你的主页的内容在一个搜索引擎中被索引，即便你从未与他 们有过不论什么联系。事实上这正是Web Robot的功劳。WebRobot事实上是一些程序，它可以 穿越大量Internet网址的超文本结构，递归地检索网络网站所有的内容。这些程序有时被叫“蜘蛛（Spider）” ， “网上流浪汉（Web Wanderer）”，“网络蠕虫（web worms）”或Webcrawler。一些Internet网上知名的搜索引擎网站（Search Engines）都 有专门的WebRobot程序来完毕信息的採集，好比Lycos，Webcrawler，Altavista等，以及中文搜索引擎网站好比北极星

，网易，GOYOYO等。WebRobot就象一个不速之客，不管你是否在乎，它都会忠于本身主人的职责，不辞辛苦、不知疲倦地奔波于万维网的空间，固然也会光临你的主页，检索主页内容并生成它所需要的记录格式。也许有的主页内容你乐于世人皆知，但有的内容你却不肯被洞察、索引。难道你就仅仅能任其“横行”于本身主页空间，是否能指挥和控制WebRobot的行踪呢？答案固然是确定的。仅仅要你阅读了本篇的下文，就可以象一个交通 警察同样，布置下一个个路标，告诉WebRobot应该怎么去检索你的主页，哪些可以检索，哪些不可以訪问。事实上Web Robot能听懂你的话不要觉得Web Robot是毫无组织，毫无管束地乱跑。很是多Web Robot软件给网络网站的 管理员或网页内容制做者提供了两种方法来限制Web Robot的行踪：

1.         Robots Exclusion Protocol 协议

网络网站的管理员可以在网站上创建一个专门格式的文件，来指出网站上的哪一部分 可以被robot訪问, 这个文件放在网站的根文件夹下，即robots.txt." target="_blank">http://.../robots.txt.

2.         Robots META tag

一个网页做者可以使用专门的HTML META tag ，来指出某一个网页可否够被索 引、分析或连接。这些方法适合于大多数的Web Robot，至因而否在软件中实施了这些方法，还依赖于 Robot的开发人员，并非可以保证对不论什么Robot都灵验。假设你迫切需要保护本身内容，则应考虑採用诸如添加password等其它保护方法。

 

使用Robots Exclusion Protocol 协议

当Robot訪问一个 Web 网站时，比方http://www.sti.net.cn/，它先去检查文件robots.txt"target="_blank">http://www.sti.net.cn/robots.txt。假设这个文件存在，它便会依照这种记录格式去分析：

　　User-agent: *

　　Disallow: /cgi-bin/

　　Disallow: /tmp/

　　Disallow: /~joe/

　　以肯定它是否应该检索网站的文件。这些记录是专门给Web Robot看的，通常的浏览者大概永远不会看到这个文件，因此千万不要异想天开地在里面增长形似 类的HTML语句或是“How do you do? where areyou from?”之类假情假意的问候语。

　　在一个网站上仅仅能有一个 "/robots.txt" 文件，而且文件名称的每个字母要求全部是小写。在Robot的记录格式中每个单独的"Disallow"行表示你不但愿Robot訪问的URL， 每个URL必须单独占一行，不能出现"Disallow: /cgi-bin/ /tmp/"这种病句。同一时候在一个记录中不能出现空行，这是因为空行是多个记录切割的标志。User-agent行指出的是Robot或其它代理的名称。在User-agent行，'*' 表示一个特殊的含义---全部的robot。

　　如下是几个robot.txt的样例：

　　在整个server上拒绝所有的robots：

　　User-agent: *

Disallow: /

 

　　赞成所有的robots訪问整个网站：

　　User-agent: *

　　Disallow:

　　或者产生一个空的 "/robots.txt" 文件。

 

　　server的部份内容赞成所有的robot訪问

　　User-agent: *

　　Disallow: /cgi-bin/

　　Disallow: /tmp/

　　Disallow: /private/

 

　　拒绝某一个专门的robot：

　　User-agent: BadBot

　　Disallow: /

 

 

　　仅仅赞成某一个robot光顾：

　　User-agent: WebCrawler

　　Disallow:

　　User-agent: *

　　Disallow: /

　　

　　最后咱们给出 http://www.w3.org/网站上的robots.txt：

　　# For use by search.w3.org

　　User-agent: W3Crobot/1

　　Disallow:

　　User-agent: *

　　Disallow: /Member/ # This is restricted to W3C Members only

　　Disallow: /member/ # This is restricted to W3C Members only

　　Disallow: /team/ # This is restricted to W3C Team only

　　Disallow: /TandS/Member # This is restricted to W3C Members only

　　Disallow: /TandS/Team # This is restricted to W3C Team only

　　Disallow: /Project

　　Disallow: /Systems

　　Disallow: /Web

　　Disallow: /Team

　　

　　 使用 Robots META tag 方式

Robots META tag 赞成HTML网页做者指出某一页可否够被索引，或可否够用来查找不少其它的连接文件。眼下仅仅有部分robot实施了这一功能。

Robots META tag的格式为：

象其它的META tag同样，它应该放在HTML文件的HEAD区：

　　...

　　Robots META tag指令使用逗号隔开，可以使用的指令包含 [NO]INDEX 和[NO]FOLLOW。INDEX指令指出一个索引性robot可否够对本页进行索引；FOLLOW 指

令指出robot可否够跟踪本页的连接。缺省的状况是INDEX和FOLLOW。好比：一个好的Web 网站管理员应该将robot的管理考虑在内，使robot为本身的主页服务， 同一时候又不损害本身网页的安全。