python爬虫面试题

1.你写爬虫的时候都遇到过什么?反爬虫措施,你是怎么解决的?css 经过headers反爬虫; 基于用户行为的发爬虫:(同一IP短期内访问的频率); 动态网页反爬虫(经过ajax请求数据,或者经过JavaScript生成); 解决途径:html 对于基本网页的抓取能够自定义headers,将header随request一块儿发送(通常是User-Agent,Cookie) 使用IP代理池爬取或者下
相关文章
相关标签/搜索