爬虫原理一点通

1、什么是爬虫？ 网络爬虫，顾名思义"网络上爬来爬去的蜘蛛" 请求网站并提取数据的自动化程序。 2、爬虫的基本流程 ①发起请求 通过HTTP库向目标站点发起请求，即发送一个Request，请求可以包含额外的headers等信息，等待服务器响应。 ②获取响应内容 如果服务器能正常响应，会得到一个Response，Response的内容是所要获取的页面内容，类型可能有HTML、Json字符串、二进制数

>>阅读原文<<