Scrapy爬取百度股票时遇403错误的解决方法

问题：用Scrapy爬取百度股票的单支股票信息时，遇到403拒绝访问错误，这应该是触发了反爬机制。web 解决方法：经过尝试发现百度股票（http://gupiao.baidu.com）反爬机制是检测User-Agent，所以这里能够经过使用随机User-Agent来进行爬取。 首先，这是网上找来的经常使用User-Agent列表，将它放在spider目录下的爬虫文件的类中：ruby user_a

>>阅读原文<<