给自己的网站加上robots.txt

今天给自己的网站加了一个robots.txt，在网上收集整理了一些资料，给自己网站也加上了robots.txt ！ 顺便给大家分享一下！ 一、robots.txt是什么？ 　　robots.txt是一个纯文本文件，在这个文件中网站管理者可以声明该网站中不想被搜索引擎访问的部分，或者指定搜索引擎只收录指定的内容。 　　当一个搜索引擎（又称搜索机器人或蜘蛛程序）访问一个站点时，它会首先检查该站点根目录

>>阅读原文<<