爬虫基本原理

爬虫是什么

 

'''
    近年来，随着网络应用的逐渐扩展和深刻，如何高效的获取网上数据成为了无数公司和我的的追求，在大数据时代，谁掌握了更多的数据，谁就能够得到更高的利益，而网络爬虫是其中最为经常使用的一种从网上爬取数据的手段。
    网络爬虫，即Web Spider，是一个很形象的名字。若是把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛是经过网页的连接地址来寻找网页的。网站某一个页面（一般是首页）开始，读取网页的内容，找到在网页中的其它连接地址，而后经过这些连接地址寻找下一个网页，这样一直循环下去，直到把这个网站全部的网页都抓取完为止。若是把整个互联网当成一个网站，那么网络蜘蛛就能够用这个原理把互联网上全部的网页都抓取下来。
'''

爬虫的比喻：
      若是咱们把互联网比做一张大的蜘蛛网，那一台计算机上的数据即是蜘蛛网上的一个猎物，而爬虫程序就是一只小蜘蛛，沿着蜘蛛网抓取本身想要的猎物/数据

爬虫的定义：
      向网站发起请求，获取资源后分析并提取有用数据的程序 

爬虫的价值：
      互联网中最有价值的即是数据，好比天猫商城的商品信息，链家网的租房信息，雪球网的证券投资信息等等，这些数据都表明了各个行业的真金白银，能够说，谁
掌握了行业内的第一手数据，谁就成了整个行业的主宰，若是把整个互联网的数据比喻为一座宝藏，那咱们的爬虫课程就是来教你们如何来高效地挖掘这些宝藏，掌握了爬
虫技能，你就成了全部互联网信息公司幕后的老板，换言之，它们都在免费为你提供有价值的数据。


请求库封装了TCP 套接字(传输层),因此只要关注http协议(应用层)
http协议 +ip&端口(域名经过dns解析) +路由(这个html存放的位置)
http比做高速公路,他有规则

 

哪些语言能够实现爬虫

# 1.php：
    能够实现爬虫。php被号称是全世界最优美的语言（固然是其本身号称的，就是王婆卖瓜的意思），可是php在实现爬虫中支持多线程和多进程方面作的很差。

# 2.java：
    能够实现爬虫。java能够很是好的处理和实现爬虫，是惟一能够与python并驾齐驱且是python的头号劲敌。可是java实现爬虫代码较为臃肿，重构成本较大。

# 3.c、c++：
    能够实现爬虫。可是使用这种方式实现爬虫纯粹是是某些人（大佬们）能力的体现，却不是明智和合理的选择。

# 4.python：
    能够实现爬虫。python实现和处理爬虫语法简单，代码优美，支持的模块繁多，学习成本低，具备很是强大的框架（scrapy等）且一句难以言表的好！没有可是！

 爬虫的应用

# 1.通用爬虫：通用爬虫是搜索引擎（Baidu、Google、Yahoo等）“抓取系统”的重要组成部分。主要目的是将互联网上的网页下载到本地，造成一个互联网内容的镜像备份。
　　1）搜索引擎如何抓取互联网上的网站数据？
　　　　　a)门户网站主动向搜索引擎公司提供其网站的url
　　　　　b)搜索引擎公司与DNS服务商合做，获取网站的url
　　　　　c)门户网站主动挂靠在一些知名网站的友情连接中

# 2.聚焦爬虫：聚焦爬虫是根据指定的需求抓取网络上指定的数据。
　　例如：
　　　　  获取豆瓣上电影的名称和影评，而不是获取整张页面中全部的数据值。

 爬虫的基本流程

 

　tip1: 发送请求的就是模拟浏览器发送请求，阐述底层如何走的。请求须要使用请求库，请求库帮咱们实现了什么功能。

　

# 一、发起请求: 
　　使用http库向目标站点发起请求，即发送一个Request
　　Request包含：请求头、请求体等

# 二、获取响应内容
　　若是服务器能正常响应，则会获得一个Response
　　Response包含：html，json，图片，视频等

# 三、解析内容
　　解析html数据：正则表达式，第三方解析库如Beautifulsoup，pyquery等
　　解析json数据：json模块
　　解析二进制数据:以b的方式写入文件

# 四、保存数据
　　数据库
　　文件

请求与响应

 

# URL的格式由三部分组成：
    ①第一部分是协议(或称为服务方式)。
    ②第二部分是存有该资源的主机IP地址(有时也包括端口号)。
    ③第三部分是主机资源的具体地址，如目录和文件名等

# http协议：
    https://www.cnblogs.com/kermitjam/p/10432198.html

# robots协议: 
    https://www.cnblogs.com/kermitjam/articles/9692568.html

# Request：
　　用户将本身的信息经过浏览器（socket client）发送给服务器（socket server）

# Response：
　　服务器接收请求，分析用户发来的请求信息，而后返回数据（返回的数据中可能包含其余连接，如：图片，js，css等）

# ps：
　　浏览器在接收Response后，会解析其内容来显示给用户，而爬虫程序在模拟浏览器发送请求而后接收Response后，是要提取其中的有用数据。

Request

 

#一、请求方式：
    经常使用的请求方式：
　　　　GET，POST

    其余请求方式：
　　　　HEAD，PUT，DELETE，OPTHONS

    ps：用浏览器演示get与post的区别，（用登陆演示post）

    post与get请求最终都会拼接成这种形式：
　　　　k1=xxx&k2=yyy&k3=zzz

    post请求的参数放在请求体内：
       可用浏览器查看，存放于form data内
　　　　get请求的参数直接放在url后

#二、请求url
    url全称统一资源定位符，如一个网页文档，一张图片
    一个视频等均可以用url惟一来肯定

    url编码: 
    　　https://www.baidu.com/s?wd=图片
    　　图片会被编码（看示例代码）

    网页的加载过程是：
    　　加载一个网页，一般都是先加载document文档，在解析document文档的时候，遇到连接，则针对超连接发起下载图片的请求。

#三、请求头
    User-agent：
　　　　请求头中若是没有user-agent客户端配置，服务端可能将你当作一个非法用户。
　　　　
    Cookies：
　　　　cookie用来保存登陆信息。

　　 Referer:
　　　　浏览器上次访问的网页url

 　　通常作爬虫都会加上请求头

#四、请求体
    若是是get方式，请求体没有内容
    若是是post方式，请求体是format data

　　ps：
    一、登陆窗口，文件上传等，信息都会被附加到请求体内
    二、登陆，输入错误的用户名密码，而后提交，就能够看到post，正确登陆后页面一般会跳转，没法捕捉到post 

 

  View Code

  请求参数详解

  User-Agent大全

 Response

 

# 一、响应状态: 
    200：表明成功
    301：表明跳转
    404：文件不存在
    403：权限
    502：服务器错误

# 二、响应头: Respone header
    set-cookie：可能有多个，是来告诉浏览器，把cookie保存下来。
    
# 三、网页源代码: preview
    最主要的部分，包含了请求资源的内容,如网页html、图片和二进制数据等。

 

 

 

总结

 

# 一、总结爬虫流程：
    爬取--->解析--->存储

# 二、爬虫所需工具：
    请求库：requests,selenium
    解析库：正则，beautifulsoup，pyquery
    存储库：文件，MySQL，Mongodb，Redis

# 三、爬虫经常使用框架：
    scrapy