robots xctf 攻防世界 web新手练习区

robots 一、题目描述：X老师上课讲了Robots协议，小宁同窗却上课打了瞌睡，赶忙来教教小宁Robots协议是什么吧。 二、本题考查的知识点为 robts.txt 协议 无论是企业网站仍是门户网站，上面都会有些资料是保密而不对外公开的。怎么样作到不对外公开呢?惟一的保密的措施就是不让搜索引擎来搜录这些信息。这 样就会不在网络上公司，那么要实现这个网站页面不收录，就体了robots.txt的做

>>阅读原文<<