（新手向）爬虫的原理（基本流程，Request与Response，怎么解决JavaScript渲染的问题，怎么保存数据）

什么是爬虫？ 爬虫就是请求网站并提取数据的自动化程序。 爬虫基本流程 1.发起请求：通过HTTP库向目标站点发起请求，即发送一个Request，请求可以包含额外的headers等配置信息，等待服务器响应。 2.获取响应内容：如果服务器能正常响应，会得到一个Response，其中的内容便是所要获取的页面内容，类型可能有HTML,Json字符串，二进制数据（如图片视频）等类型。 3.解析内容：得到的内

>>阅读原文<<