百度站长后台网站蜘蛛抓取时间很长初步优化 Baiduspider每次抓取耗时是否有影响

我们在后台看到这样的抓取耗时： 平均耗时1秒到2.5秒左右，只能算是一般了。 如果能降低耗时那是最好不过了，我们使用浏览器F12进行检查！ 我们使用浏览器检测为如下结果: 传输大小24k 原始大小85k 耗时700ms+ 我们使用HTML压缩清理掉注释空格等等占用大小的字符，然后启用gzip进行压缩。 百度官方介绍： 工程师答：1秒是最好，最多4至5秒也可以接受，如果时间再长，恐怕蜘蛛会过段时间再

>>阅读原文<<