Python爬虫概述

1. 什么是网络爬虫 2. 爬虫分类 3. 网络爬虫引发的问题 4. HTTP/HTTPS的请求与响应 4.1 请求方法 4.2 常用的请求报头 4.3 服务端响应状态码 5. Robots协议 6. 反爬策略 7. 爬虫基本流程 1. 什么是网络爬虫 网络爬虫是指按照某种规则在网络上爬取所需内容的脚本程序。每个网页通常包含其他网页的入口，网络爬虫则是通过一个网址依次进入到网站，模拟客户端发送网络

>>阅读原文<<