Robots-网络爬虫排除标准协议

Robots Exclusion Standard 网络爬虫排除标准 作用：网站告知爬虫哪些页面可以抓取，哪些不行 形式：在网站根目录下的robots.txt文件 案例：京东的robots协议 https://www.jd.com/robots.txt Robosts协议的基本语法： *代表所有 /代表根目录 其他网站的robots协议 robots协议的遵守方方式 网络爬虫：自动或人工识别rob

>>阅读原文<<