robots.txt 简单解析

简介

robots.txt 是一个规范，对于执行正常操做的爬虫理应遵照的规范.

例子

博客园例子

https://www.cnblogs.com/robots.txt

User-Agent: *
Allow: /

容许全部爬虫爬取网站任何地址。

百度例子

User-agent: Baiduspider # 百度本身的爬虫
Disallow: /baidu # 不容许本身的爬虫爬取百度的站点 https://www.baidu.com/baidu.html
Disallow: /s?
Disallow: /ulink?
Disallow: /link?
Disallow: /home/news/data/ # /home/news/data/目录的全部内容

User-agent: Googlebot
Disallow: /baidu
Disallow: /s?
Disallow: /shifen/
Disallow: /homepage/
Disallow: /cpro
Disallow: /ulink?
Disallow: /link?
Disallow: /home/news/data/

参考连接

百度站长管理