Python爬虫概述

1. 什么是网络爬虫 2. 爬虫分类 3. 网络爬虫引起的问题 4. HTTP/HTTPS的请求与响应 4.1 请求方法 4.2 经常使用的请求报头 4.3 服务端响应状态码 5. Robots协议 6. 反爬策略 7. 爬虫基本流程 1. 什么是网络爬虫 网络爬虫是指按照某种规则在网络上爬取所需内容的脚本程序。每一个网页一般包含其余网页的入口，网络爬虫则是经过一个网址依次进入到网站，模拟客户端发

>>阅读原文<<