从零起步 系统入门Python爬虫工程师 学习 教程

爬虫（又被称为网页蜘蛛，网络机器人）就是模拟客户端发送网络请求，接收请求响应，一种按照一定的规则，自动地抓取互联网信息的程序。 原则上,只要是浏览器(客户端)能做的事情，爬虫都能够做。 根据被爬网站的数量的不同，我们把爬虫分为： ⦁ 通用爬虫 ：通常指搜索引擎的爬虫 ⦁ 聚焦爬虫 ：针对特定网站的爬虫 Robots协议：网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取，但它仅

>>阅读原文<<