python 爬虫相关面试题

文章目录 1.爬虫大概流程 2.反反爬措施 3.scrapy 核心组件 scrapy 工做流程 1.爬虫大概流程 发起请求 经过HTTP库向目标站点发起请求，也就是发送一个 Request，请求能够包含额外的header等信息，等待服务器响应 获取响应内容 若是服务器能正常响应，会获得一个 Response，Response 的内容即是所要获取的页面内容，类型多是 HTML，Json 字符串，二进

>>阅读原文<<