爬虫代理Scrapy框架详细介绍3

Scrapy防止反爬 通常防止爬虫被反主要有以下几个策略： • 动态设置User-Agent（随机切换User-Agent，模拟不同用户的浏览器信息，可以使用组件scrapy-random-useragent） • 禁用Cookies（对于简单网站可以不启用cookies middleware，不向Server发送cookies，有些网站通过cookie的使用发现爬虫行为）可以通过COOKIES_

>>阅读原文<<