入坑爬虫(一)爬虫的基本概念

什么是爬虫 网络爬虫(又被称为网页蜘蛛,网络机器人)就是模拟浏览器发送网络请求,接收请求响应,一种按照一定的规则,自动地抓取互联网信息的程序. 原则上来说,只要是浏览器(客户端)能做的事情,爬虫都能够做. 爬虫的分类和流程 根据被爬网站的数量的不同,我们把爬虫分为: 通用爬虫 :通常指搜索引擎的爬虫(百度, 谷歌, 360等) 聚焦爬虫 :针对某种需求针对特定网站的爬虫 爬虫的流程 向起始url发
相关文章
相关标签/搜索