爬虫技巧分享

爬虫基本的流程 • 发送请求：通过HTTP库向目标站点发起请求，即发送一个Request，请求可以包含额外的headers等信息，等待服务器响应。 • 获取响应内容：如果服务器能正常响应，会得到一个Response， Response的内容便是所要获取的页面内容，类型可能有HTML，Json字符串，二进制数据（如图片视频）等类型。 • 解析内容：得到的内容可能是HTML，可以用正则表达式、网页解析

>>阅读原文<<