python爬虫初认识

 

1、爬虫是什么？

若是咱们把互联网比做一张大的蜘蛛网，数据即是存放于蜘蛛网的各个节点，而爬虫就是一只小蜘蛛，

沿着网络抓取本身的猎物（数据）爬虫指的是：向网站发起请求，获取资源后分析并提取有用数据的程序；

从技术层面来讲就是 经过程序模拟浏览器请求站点的行为，把站点返回的HTML代码/JSON数据/二进制数据（图片、视频） 爬到本地，进而提取本身须要的数据，存放起来使用。

2、爬虫的基本流程：

用户获取网络数据的方式：

方式1：浏览器提交请求--->下载网页代码--->解析成页面

方式2：模拟浏览器发送请求(获取网页代码)->提取有用的数据->存放于数据库或文件中 

爬虫要作的就是方式2；

一、发起请求

使用http库向目标站点发起请求，即发送一个Request

Request包含：请求头、请求体等 

Request模块缺陷：不能执行JS 和CSS 代码

二、获取响应内容

若是服务器能正常响应，则会获得一个Response

Response包含：html，json，图片，视频等 

三、解析内容

解析html数据：正则表达式（RE模块），第三方解析库如Beautifulsoup，pyquery等

解析json数据：json模块

解析二进制数据:以wb的方式写入文件

四、保存数据

数据库（MySQL，Mongdb、Redis）

文件 

3、http协议 请求与响应

Request：用户将本身的信息经过浏览器（socket client）发送给服务器（socket server）

Response：服务器接收请求，分析用户发来的请求信息，而后返回数据（返回的数据中可能包含其余连接，如：图片，js，css等）

ps：浏览器在接收Response后，会解析其内容来显示给用户，而爬虫程序在模拟浏览器发送请求而后接收Response后，是要提取其中的有用数据

4、 request

一、请求方式：

常见的请求方式：GET / POST 

二、请求的URL

url全球统一资源定位符，用来定义互联网上一个惟一的资源 例如：一张图片、一个文件、一段视频均可以用url惟一肯定

url编码

https://www.baidu.com/s?wd=图片

图片会被编码

加载一个网页，一般都是先加载document文档，

在解析document文档的时候，遇到连接，则针对超连接发起下载图片的请求

三、请求头

User-agent：请求头中若是没有user-agent客户端配置，服务端可能将你当作一个非法用户host；

cookies：cookie用来保存登陆信息

注意： 通常作爬虫都会加上请求头

请求头须要注意的参数：

（1）Referrer：访问源至哪里来（一些大型网站，会经过Referrer 作防盗链策略；全部爬虫也要注意模拟）

（2）User-Agent:访问的浏览器（要加上不然会被当成爬虫程序）

（3）cookie：请求头注意携带

四、请求体

请求体
    若是是get方式，请求体没有内容 （get请求的请求体放在 url后面参数中，直接能看到）
    若是是post方式，请求体是format data

    ps：
    一、登陆窗口，文件上传等，信息都会被附加到请求体内
    二、登陆，输入错误的用户名密码，而后提交，就能够看到post，正确登陆后页面一般会跳转，没法捕捉到post

5、 响应Response

一、响应状态码

　　200：表明成功

　　301：表明跳转

　　404：文件不存在

　　403：无权限访问

　　502：服务器错误

二、respone header

响应头须要注意的参数：

（1）Set-Cookie:BDSVRTM=0; path=/：可能有多个，是来告诉浏览器，把cookie保存下来

（2）Content-Location：服务端响应头中包含Location返回浏览器以后，浏览器就会从新访问另外一个页面 

三、preview就是网页源代码

JSO数据

如网页html，图片

二进制数据等 

6、总结

一、总结爬虫流程：

 爬取--->解析--->存储

二、爬虫所需工具：

 请求库：requests,selenium（能够驱动浏览器解析渲染CSS和JS，但有性能劣势（有用没用的网页都会加载）；）
 解析库：正则，beautifulsoup，pyquery
 存储库：文件，MySQL，Mongodb，Redis

7、爬虫知识总结

 

 

经常使用第三方库

对于爬虫初学者，建议在了解爬虫原理之后，在不使用任何爬虫框架的状况下，使用这些经常使用的第三方库本身实现一个简单的爬虫，这样会加深对爬虫的理解。

urllib和requests都是python的HTTP库，包括urllib2模块以巨大的复杂性代价获取综合性的功能。相比于urllib2,Requests模块更能简约的支持完整的简单用例。关于urllib和requests的优缺点和区别，你们能够去网上查一下。

BeautifulSoup和lxml都是python页面解析的库。BeautifulSoup 是基于 DOM 的，会载入整个文档，解析整个DOM树，所以时间和内存开销都会大不少。而lxml只会进行局部遍历，使用xpath可以很快定位标签。bs4 是用 python 写的，lxml 是 c 语言实现的，也决定了lxml比bs4要快。

爬虫框架

python经常使用的爬虫框架就是scrapy和pyspider两个。

关于框架的使用方法及详细介绍，可参考官方文档。

动态页面渲染

1. url请求分析

（1）认真分析页面结构，查看js响应的动做;

（2）借助浏览器分析js点击动做所发出的请求url;

（3）将此异步请求的url做为scrapy的start_url或者yield reques再次进行抓取。

2. selenium

Selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，类型像咱们玩游戏用的按键精灵，能够按指定的命令自动化操做，不一样是Selenium能够直接运行在浏览器上，它支持全部主流的浏览器(包括PhantomJS这些无界面的浏览器)。

Selenium能够根据咱们的指令，让浏览器自动加载页面，获取须要的页面，甚至页面截屏，或者判断网站上某些动做是否发生。

Selenium本身不带浏览器，不支持浏览器的功能，它须要与第三方浏览器结合在一块儿才能使用。

3. phantomjs

使用selenium调用浏览器进行抓取页面时，因为要执行打开浏览器并渲染页面的操做，当进行大规模数据抓取时效率较低，没法知足需求。这时咱们能够选择使用phantomjs。

PhantomJS是一个基于Webkit的"无界面"(headless)浏览器，它会把网站加载到内存并执行页面上的Java，由于不会展现图形界面，因此运行起来比完整的浏览器更高效。

若是咱们把Selenium和PhantomJS结合在一块儿，就能够运行一个很是强大的网络爬虫了，这个爬虫能够处理Java、Cookie、headers，以及任何咱们真实用户须要作的事情。

4. splash

Splash是一个Java渲染服务。它是一个实现了HTTP API的轻量级浏览器，Splash是用Python实现的，同时使用Twisted和QT。Twisted（QT）用来让服务具备异步处理能力，以发挥webkit的并发能力。

python链接splash的库叫作scrapy-splash，scrapy-splash使用的是Splash HTTP API， 因此须要一个splash instance，通常采用docker运行splash，因此须要安装docker。

5. spynner

spynner是一个QtWebKit的客户端，它能够模拟浏览器，完成加载页面、引起事件、填写表单等操做。

爬虫防屏蔽策略

1. 修改User-Agent

User-Agent是一种最多见的假装浏览器的手段。

User-Agent是指包含浏览器信息、操做系统信息等的一个字符串，也称之为一种特殊的网络协议。服务器经过它判断当前访问对象是浏览器、邮件客户端仍是网络爬虫。在request.headers里能够查看user-agent，关于怎么分析数据包、查看其User-Agent等信息，这个在前面的文章里提到过。

具体方法能够把User-Agent的值改成浏览器的方式，甚至能够设置一个User-Agent池（list，数组，字典均可以），存放多个“浏览器”，每次爬取的时候随机取一个来设置request的User-Agent，这样User-Agent会一直在变化，防止被墙。

2. 禁止cookies

cookie实际上是储存在用户终端的一些被加密的数据，有些网站经过cookies来识别用户身份，若是某个访问老是高频率地发请求，极可能会被网站注意到，被嫌疑为爬虫，这时网站就能够经过cookie找到这个访问的用户而拒绝其访问。

经过禁止cookie，这是客户端主动阻止服务器写入。禁止cookie能够防止可能使用cookies识别爬虫的网站来ban掉咱们。

在scrapy爬虫中能够设置COOKIES_ENABLES= FALSE，即不启用cookies middleware，不向web server发送cookies。

3. 设置请求时间间隔

大规模集中访问对服务器的影响较大，爬虫能够短期增大服务器负载。这里须要注意的是：设定下载等待时间的范围控制，等待时间过长，不能知足短期大规模抓取的要求，等待时间太短则颇有可能被拒绝访问。

设置合理的请求时间间隔，既保证爬虫的抓取效率，又不对对方服务器形成较大影响。

4. 代理IP池

其实微博识别的是IP，不是帐号。也就是说，当须要连续抓取不少数据的时候，模拟登陆没有意义。只要是同一个IP，无论怎么换帐号也没有用，主要的是换IP。

web server应对爬虫的策略之一就是直接将IP或者整个IP段都封掉禁止访问，当IP被禁封后，转换到其余IP继续访问便可。方法：代理IP、本地IP数据库（使用IP池）。

5. 使用Selenium

使用Selenium来模拟人工点击访问网站，是种颇有效的防止被ban的方式。可是Selenium效率较低，不适合大规模数据抓取。

6. 破解验证码

验证码是如今最多见的防止爬虫的手段。有能力的小伙伴能够本身写算法破解验证码，不过通常咱们能够花点钱使用第三方打码平台的接口，轻松实现验证码的破解。