网站的robots可以屏蔽网站的js吗?

网站的robots可以屏蔽网站的js吗? 最近发现网站的js文件被蜘蛛抓取的特别频繁，抓取占比达到了2分之1，那么遇到这种情况到底要不到把js文件给屏蔽了呢? 一、robots全部屏蔽掉不太建议，因为随着网页的发展，资源种类越来越多，蜘蛛需要分析; 二、根据之前看到的百度对网页主体内容模板的专利的简单介绍可以得出下面几个观点： 1、百度能够根据前台页面的链接布局、框架，判断出一个站点的主要页面类型

>>阅读原文<<