禁止所有搜索爬虫访问网站指定目录robots.txt

禁止所有搜索爬虫访问网站指定目录 用自己私人的服务器来测试吧，99买阿里云 文件放置不让爬取的网站文件夹目录里 robots.txt User-agent: * Disallow: / User-Agent值可改为： 搜索引擎 User-Agent值 Google googlebot 百度 baiduspider 雅虎 slurp MSN msnbot Alexa is_archiver

>>阅读原文<<