Python爬虫基础教程（一）

一、爬虫的概念：     网络爬虫（又被称为网页蜘蛛，网络机器人）就是模拟客户端发送网络请求，接收请求响应，     一种按照一定的规则，自动地抓取互联网信息的程序。   二、爬虫的分类：     1、通用爬虫：通常指搜索引擎的爬虫     2、聚焦爬虫：针对特定网站的爬虫   三、爬虫的工作流程：            四、Robots协议：     网站通过Robots协议告诉搜索引擎哪些页面

>>阅读原文<<