网站robots文件中到底要不要屏蔽JS和css

　　网站robots文件中到底要不要屏蔽JS和css?最近发现百度蜘蛛每日抓取网站的js和css文件非常频繁，甚至能占每日抓取量的五分之一，百度蜘蛛每日抓取5000次，其中单独抓取js和css文件就有一千多次。遇到这种情况，是否应该屏蔽蜘蛛抓取上述文件? 　　一、robots全部屏蔽掉不太建议，因为随着网页的发展，资源种类越来越多，蜘蛛需要分析; 　　二、根据之前看到的百度对网页主体内容模板的专利

>>阅读原文<<