百度爬虫为何这样没有轻重的爬呢？

网站昨天持续打开很慢，通过分析发现是百度爬虫频繁抓取致使，改了rorots.txt仍是不起做用，后来业务同事催得急，急中生智在阿里云后台设置了安全组规则，用cidr一下解决问题。

网段以下

123.125.71.74/24

220.181.108.139/24

111.206.198.46/16

 

可能会误伤一些用户的IP。

 

虽然这样作，百度可能会将网站的天然排名降权。那也是没办法的，百度爬虫为何这样没有轻重的爬呢？