Python爬虫入门这一篇就够了

何谓爬虫

所谓爬虫，就是按照必定的规则，自动的从网络中抓取信息的程序或者脚本。万维网就像一个巨大的蜘蛛网，咱们的爬虫就是上面的一个蜘蛛，不断的去抓取咱们须要的信息。

爬虫三要素

抓取

分析

存储

基础的抓取操做

一、urllib

在Python2.x中咱们能够经过urllib 或者urllib2 进行网页抓取，可是再Python3.x 移除了urllib2。只能经过urllib进行操做

 

带参数的urllib

url = 'https://blog.csdn.net/weixin_43499626'

url = url + '?' + key + '=' + value1 + '&' + key2 + '=' + value2

二、requests

requests库是一个很是实用的HTPP客户端库，是抓取操做最经常使用的一个库。Requests库知足不少需求

 

须要登陆的状况下

一、表单提交登陆

向服务器发送一个post请求并携带相关参数，将服务器返回的cookie保存在本地,cookie是服务器在客户端上的“监视器”，记录了登陆信息等。客户端经过识别请求携带的cookie，肯定是否登陆

 

二、cookie登陆

咱们能够将登陆的cookie存储在文件中，

 

常见的反爬有哪些

一、经过user-agent来控制访问

user-agent可以使服务器识别出用户的操做系统及版本、cpu类型、浏览器类型和版本。不少网站会设置user-agent白名单，只有在白名单范围内的请求才能正常访问。因此在咱们的爬虫代码中须要设置user-agent假装成一个浏览器请求。有时候服务器还可能会校验Referer，因此还可能须要设置Referer(用来表示此时的请求是从哪一个页面连接过来的)

 

以下是CSDN中的Request Header中的信息

 

二、经过IP来限制

当咱们用同一个ip屡次频繁访问服务器时，服务器会检测到该请求多是爬虫操做。所以就不能正常的响应页面的信息了。

解决办法经常使用的是使用IP代理池。网上就有不少提供代理的网站、

 

三、设置请求间隔

import time

time.sleep(1)

四、自动化测试工具Selenium

Web应用程序测试的Selenium工具。该工具能够用于单元测试，集成测试，系统测试等等。它能够像真正的用户同样去操做浏览器(包括字符填充、鼠标点击、获取元素、页面切换)，支持Mozilla Firefox、Google、Chrome、Safari、Opera、IE等等浏览器。

五、参数经过加密

某些网站可能会将参数进行某些加密，或者对参数进行拼接发送给服务器，以此来达到反爬虫的目的。这个时候咱们能够试图经过js代码，查看破解的办法。

链接xxx

或者可使用"PhantomJS",PhantomJS是一个基于Webkit的"无界面"(headless)浏览器，它会把网站加载到内存并执行页面上的JavaScript，由于不会展现图形界面，因此运行起来比完整的浏览器更高效。

六、经过robots.txt来限制爬虫

robots.txt是一个限制爬虫的规范，该文件是用来声明哪些东西不能被爬取。若是根目录存在该文件，爬虫就会按照文件的内容来爬取指定的范围。

浏览器访问https://www.taobao.com/robots.txt

能够查看淘宝的robots.txt文件

部份内容以下

User-agent: BaiduspiderDisallow: /product/Disallow: /User-Agent: GooglebotDisallow: /User-agent: BingbotDisallow: /User-Agent: 360SpiderDisallow: /User-Agent: YisouspiderDisallow: /User-Agent: SogouspiderDisallow: /User-Agent: Yahoo! SlurpDisallow: /User-Agent: *Disallow: /

能够看出淘宝拒绝了百度爬虫、谷歌爬虫、必应爬虫、360爬虫、神马爬虫，搜狗爬虫、雅虎爬虫等约束。

分析

咱们能够分析爬取的网页内容，得到咱们真正须要的数据，经常使用的有正则表达式，BeautifulSoup,XPath、lxml等

正则表达式是进行内容匹配，将符合要求的内容所有获取；

xpath()能将字符串转化为标签，它会检测字符串内容是否为标签，可是不能检测出内容是否为真的标签；

Beautifulsoup是Python的一个第三方库，它的做用和 xpath 做用同样，都是用来解析html数据的相比之下，xpath的速度会快一点，由于xpath底层是用c来实现的

存储

经过分析网页内容，获取到咱们想要的数据，咱们能够选择存到文本文件中，亦能够存储在数据库中，经常使用的数据库有MySql、MongoDB

存储为json文件

 

存储为cvs文件

 

存储到Mongo