爬虫进阶篇

时间 2019-12-11

标签爬虫进阶栏目网络爬虫繁體版

原文原文链接

Cookie的使用

为何要使用Cookie呢？python

Cookie，指某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据（一般通过加密）正则表达式

好比说有些网站须要登陆后才能访问某个页面，在登陆以前，你想抓取某个页面内容是不容许的。那么咱们能够利用Urllib2库保存咱们登陆的Cookie，而后再抓取其余页面就达到目的了。编程

在此以前呢，咱们必须先介绍一个opener的概念。cookie

　　1.Opener

　　　　当你获取一个URL你使用一个opener(一个urllib2.OpenerDirector的实例)。在前面，咱们都是使用的默认的opener，也就是urlopen。它是一个特殊的opener，能够理解成opener的一个特殊实例，传入的参数仅仅是url，data，timeout。session

若是咱们须要用到Cookie，只用这个opener是不能达到目的的，因此咱们须要建立更通常的opener来实现对Cookie的设置。编程语言

　　2.Cookielib

　　　　cookielib模块的主要做用是提供可存储cookie的对象，以便于与urllib2模块配合使用来访问Internet资源。Cookielib模块很是强大，咱们能够利用本模块的CookieJar类的对象来捕获cookie并在后续链接请求时从新发送，好比能够实现模拟登陆功能。该模块主要的对象有CookieJar、FileCookieJar、MozillaCookieJar、LWPCookieJar。函数

它们的关系：CookieJar —-派生—->FileCookieJar —-派生—–>MozillaCookieJar和LWPCookieJar工具

　　　1）获取Cookie保存到变量

　　　　首先，咱们先利用CookieJar对象实现获取cookie的功能，存储到变量中，先来感觉一下post

　　　　一部分是我本身的解释网站

# import urllib2
# import cookielib
# #声明一个CookieJar对象实例来保存cookie
# 获取一个保存cookie对象？？
# cookie = cookielib.CookieJar()

# #利用urllib2库的HTTPCookieProcessor对象来建立cookie处理器
#将一个保存cookie对象，和一个HTTP的cookie的处理绑定----？？
# handler=urllib2.HTTPCookieProcessor(cookie)

# #经过handler来构建opener
#建立一个opener，将保存了cookie的http处理器，还有设置一个handler用于处理http的URL的打开
# opener = urllib2.build_opener(handler)
# #此处的open方法同urllib2的urlopen方法，也能够传入request
# response = opener.open('http://www.baidu.com')
# for item in cookie:
#     print 'Name = '+item.name
#     print 'Value = '+item.value

　　咱们使用以上方法将cookie保存到变量中，而后打印出了cookie中的值，运行结果以下

Value = B07B663B645729F11F659C02AAE65B4C:FG=1
Name = BAIDUPSID
Value = B07B663B645729F11F659C02AAE65B4C
Name = H_PS_PSSID
Value = 12527_11076_1438_10633
Name = BDSVRTM
Value = 0
Name = BD_HOME
Value = 0

　　2）保存Cookie到文件

在上面的方法中，咱们将cookie保存到了cookie这个变量中，若是咱们想将cookie保存到文件中该怎么作呢？这时，咱们就要用到（文件自动生成）

FileCookieJar这个对象了，在这里咱们使用它的子类MozillaCookieJar来实现Cookie的保存

import cookielib
import urllib2

#设置保存cookie的文件，同级目录下的cookie.txt
filename = 'cookie.txt'
#声明一个MozillaCookieJar对象实例来保存cookie，以后写入文件
cookie = cookielib.MozillaCookieJar(filename)
#利用urllib2库的HTTPCookieProcessor对象来建立cookie处理器
handler = urllib2.HTTPCookieProcessor(cookie)
#经过handler来构建opener
opener = urllib2.build_opener(handler)
#建立一个请求，原理同urllib2的urlopen
response = opener.open("http://www.baidu.com")
#保存cookie到文件
cookie.save(ignore_discard=True, ignore_expires=True)

　　因而可知，ignore_discard的意思是即便cookies将被丢弃也将它保存下来，ignore_expires的意思是若是在该文件中cookies已经存在，则覆盖原文件写入，在这里，咱们将这两个所有设置为True。运行以后，cookies将被保存到cookie.txt文件中，咱们查看一下内容，附图以下

3）从文件中获取Cookie并访问

那么咱们已经作到把Cookie保存到文件中了，若是之后想使用，能够利用下面的方法来读取cookie并访问网站，感觉一下

import cookielib
import urllib2

#建立MozillaCookieJar实例对象
cookie = cookielib.MozillaCookieJar()
#从文件中读取cookie内容到变量
cookie.load('cookie.txt', ignore_discard=True, ignore_expires=True)
#建立请求的request
req = urllib2.Request("http://www.baidu.com")
#利用urllib2的build_opener方法建立一个opener
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie))
response = opener.open(req)
print response.read()

　　设想，若是咱们的 cookie.txt 文件中保存的是某我的登陆百度的cookie，那么咱们提取出这个cookie文件内容，就能够用以上方法模拟这我的的帐号登陆百度。

　　4）利用cookie模拟网站登陆

　　　　下面咱们以咱们学校的教育系统为例，利用cookie实现模拟登陆，并将cookie信息保存到文本文件中，来感觉一下cookie大法吧！

　　　　注意：密码我改了啊，别偷偷登陆郑的选课系统 o(╯□╰)o

import urllib2
import cookielib
 
filename = 'cookie.txt'
#声明一个MozillaCookieJar对象实例来保存cookie，以后写入文件
cookie = cookielib.MozillaCookieJar(filename)
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie))
postdata = urllib.urlencode({
            'stuid':'201200131012',
            'pwd':'23342321'
        })
#登陆教务系统的URL
loginUrl = 'http://jwxt.sdu.edu.cn:7890/pls/wwwbks/bks_login2.login'
#模拟登陆，并把cookie保存到变量
result = opener.open(loginUrl,postdata)
#保存cookie到cookie.txt中
cookie.save(ignore_discard=True, ignore_expires=True)
#利用cookie请求访问另外一个网址，此网址是成绩查询网址
gradeUrl = 'http://jwxt.sdu.edu.cn:7890/pls/wwwbks/bkscjcx.curscopre'
#请求访问成绩查询网址
result = opener.open(gradeUrl)
print result.read()

　　以上程序的原理以下

　　建立一个带有cookie的opener，在访问登陆的URL时，将登陆后的cookie保存下来，而后利用这个cookie来访问其余网址。

　　如登陆以后才能查看的成绩查询呀，本学期课表呀等等网址，模拟登陆就这么实现啦，是否是很酷炫？

　　正则表达式

正则表达式是用来匹配字符串很是强大的工具，在其余编程语言中一样有正则表达式的概念，Python一样不例外，利用了正则表达式，咱们想要从返回的页面内容提取出咱们想要的内容就易如反掌了。

正则表达式的大体匹配过程是：
1.依次拿出表达式和文本中的字符比较，
2.若是每个字符都能匹配，则匹配成功；一旦有匹配不成功的字符则匹配失败。
3.若是表达式中有量词或边界，这个过程会稍微有一些不一样。

　　2.正则表达式的语法规则

　　　　下面是Python中正则表达式的一些匹配规则，图片资料来自CSDN

　　3.正则表达式相关注解

　　　　（1）数量词的贪婪模式与非贪婪模式

　　正则表达式一般用于在文本中查找匹配的字符串。Python里数量词默认是贪婪的（在少数语言里也多是默认非贪婪），老是尝试匹配尽量多的字符；非贪婪的则相反，老是尝试匹配尽量少的字符。例如：正则表达式”ab*”若是用于查找”abbbc”，将找到”abbb”。而若是使用非贪婪的数量词”ab*?”，将找到”a”。

注：咱们通常使用非贪婪模式来提取。

　　（2）反斜杠问题

　　与大多数编程语言相同，正则表达式里使用”\”做为转义字符，这就可能形成反斜杠困扰。假如你须要匹配文本中的字符”\”，那么使用编程语言表示的正则表达式里将须要4个反斜杠”\\\\”：前两个和后两个分别用于在编程语言里转义成反斜杠，转换成两个反斜杠后再在正则表达式里转义成一个反斜杠。

Python里的原生字符串很好地解决了这个问题，这个例子中的正则表达式可使用r”\\”表示。一样，匹配一个数字的”\\d”能够写成r”\d”。有了原生字符串，妈妈也不用担忧是否是漏写了反斜杠，写出来的表达式也更直观勒。

　　4.Python Re模块

　　　　Python 自带了re模块，它提供了对正则表达式的支持。主要用到的方法列举以下

#返回pattern对象
re.compile(string[,flag])  
#如下为匹配所用函数
re.match(pattern, string[, flags])
re.search(pattern, string[, flags])
re.split(pattern, string[, maxsplit])
re.findall(pattern, string[, flags])
re.finditer(pattern, string[, flags])
re.sub(pattern, repl, string[, count])
re.subn(pattern, repl, string[, count])

　　在介绍这几个方法以前，咱们先来介绍一下pattern的概念，pattern能够理解为一个匹配模式，那么咱们怎么得到这个匹配模式呢？很简单，咱们须要利用re.compile方法就能够。例如

pattern = re.compile(r'hello')

在参数中咱们传入了原生字符串对象，经过compile方法编译生成一个pattern对象，而后咱们利用这个对象来进行进一步的匹配。

另外你们可能注意到了另外一个参数 flags，在这里解释一下这个参数的含义：

参数flag是匹配模式，取值可使用按位或运算符’|’表示同时生效，好比re.I | re.M。

可选值有：

 • re.I(全拼：IGNORECASE): 忽略大小写（括号内是完整写法，下同）
 • re.M(全拼：MULTILINE): 多行模式，改变'^'和'$'的行为（参见上图）
 • re.S(全拼：DOTALL): 点任意匹配模式，改变'.'的行为
 • re.L(全拼：LOCALE): 使预约字符类 \w \W \b \B \s \S 取决于当前区域设定
 • re.U(全拼：UNICODE): 使预约字符类 \w \W \b \B \s \S \d \D 取决于unicode定义的字符属性
 • re.X(全拼：VERBOSE): 详细模式。这个模式下正则表达式能够是多行，忽略空白字符，并能够加入注释。

　　在刚才所说的另外几个方法例如 re.match 里咱们就须要用到这个pattern了，下面咱们一一介绍。

注：如下七个方法中的flags一样是表明匹配模式的意思，若是在pattern生成时已经指明了flags，那么在下面的方法中就不须要传入这个参数了。

　　（1）re.match(pattern, string[, flags])

　　这个方法将会从string（咱们要匹配的字符串）的开头开始，尝试匹配pattern，一直向后匹配，若是遇到没法匹配的字符，当即返回None，若是匹配未结束已经到达string的末尾，也会返回None。两个结果均表示匹配失败，不然匹配pattern成功，同时匹配终止，再也不对string向后匹配。下面咱们经过一个例子理解一下

__author__ = 'CQC'
# -*- coding: utf-8 -*-

#导入re模块
import re

# 将正则表达式编译成Pattern对象，注意hello前面的r的意思是“原生字符串”
pattern = re.compile(r'hello')

# 使用re.match匹配文本，得到匹配结果，没法匹配时将返回None
result1 = re.match(pattern,'hello')
result2 = re.match(pattern,'helloo CQC!')
result3 = re.match(pattern,'helo CQC!')
result4 = re.match(pattern,'hello CQC!')

#若是1匹配成功
if result1:
    # 使用Match得到分组信息
    print result1.group()
else:
    print '1匹配失败！'


#若是2匹配成功
if result2:
    # 使用Match得到分组信息
    print result2.group()
else:
    print '2匹配失败！'


#若是3匹配成功
if result3:
    # 使用Match得到分组信息
    print result3.group()
else:
    print '3匹配失败！'

#若是4匹配成功
if result4:
    # 使用Match得到分组信息
    print result4.group()
else:
    print '4匹配失败！'

　　运行结果

hello
hello
3匹配失败
hello

　　匹配分析

　　1.第一个匹配，pattern正则表达式为’hello’，咱们匹配的目标字符串string也为hello，从头到尾彻底匹配，匹配成功。

　　2.第二个匹配，string为helloo CQC，从string头开始匹配pattern彻底能够匹配，pattern匹配结束，同时匹配终止，后面的o CQC再也不匹配，返回匹配成功的信息。

　　3.第三个匹配，string为helo CQC，从string头开始匹配pattern，发现到 ‘o’ 时没法完成匹配，匹配终止，返回None

　　4.第四个匹配，同第二个匹配原理，即便遇到了空格符也不会受影响。

　　咱们还看到最后打印出了result.group()，这个是什么意思呢？下面咱们说一下关于match对象的的属性和方法
Match对象是一次匹配的结果，包含了不少关于这次匹配的信息，可使用Match提供的可读属性或方法来获取这些信息。

属性：
1.string: 匹配时使用的文本。
2.re: 匹配时使用的Pattern对象。
3.pos: 文本中正则表达式开始搜索的索引。值与Pattern.match()和Pattern.seach()方法的同名参数相同。
4.endpos: 文本中正则表达式结束搜索的索引。值与Pattern.match()和Pattern.seach()方法的同名参数相同。
5.lastindex: 最后一个被捕获的分组在文本中的索引。若是没有被捕获的分组，将为None。
6.lastgroup: 最后一个被捕获的分组的别名。若是这个分组没有别名或者没有被捕获的分组，将为None。
方法：
1.group([group1, …]):
得到一个或多个分组截获的字符串；指定多个参数时将以元组形式返回。group1可使用编号也可使用别名；编号0表明整个匹配的子串；不填写参数时，返回group(0)；没有截获字符串的组返回None；截获了屡次的组返回最后一次截获的子串。
2.groups([default]):
以元组形式返回所有分组截获的字符串。至关于调用group(1,2,…last)。default表示没有截获字符串的组以这个值替代，默认为None。
3.groupdict([default]):
返回以有别名的组的别名为键、以该组截获的子串为值的字典，没有别名的组不包含在内。default含义同上。
4.start([group]):
返回指定的组截获的子串在string中的起始索引（子串第一个字符的索引）。group默认值为0。
5.end([group]):
返回指定的组截获的子串在string中的结束索引（子串最后一个字符的索引+1）。group默认值为0。
6.span([group]):
返回(start(group), end(group))。
7.expand(template):
将匹配到的分组代入template中而后返回。template中可使用\id或\g、\g引用分组，但不能使用编号0。\id与\g是等价的；但\10将被认为是第10个分组，若是你想表达\1以后是字符’0’，只能使用\g0。

下面咱们用一个例子来体会一下

# -*- coding: utf-8 -*-
#一个简单的match实例

import re
# 匹配以下内容：单词+空格+单词+任意字符
m = re.match(r'(\w+) (\w+)(?P<sign>.*)', 'hello world!')

print "m.string:", m.string
print "m.re:", m.re
print "m.pos:", m.pos
print "m.endpos:", m.endpos
print "m.lastindex:", m.lastindex
print "m.lastgroup:", m.lastgroup
print "m.group():", m.group()
print "m.group(1,2):", m.group(1, 2)
print "m.groups():", m.groups()
print "m.groupdict():", m.groupdict()
print "m.start(2):", m.start(2)
print "m.end(2):", m.end(2)
print "m.span(2):", m.span(2)
print r"m.expand(r'\g \g\g'):", m.expand(r'\2 \1\3')
 
### output ###
# m.string: hello world!
# m.re: 
# m.pos: 0
# m.endpos: 12
# m.lastindex: 3
# m.lastgroup: sign
# m.group(1,2): ('hello', 'world')
# m.groups(): ('hello', 'world', '!')
# m.groupdict(): {'sign': '!'}
# m.start(2): 6
# m.end(2): 11
# m.span(2): (6, 11)
# m.expand(r'\2 \1\3'): world hello!

　　（2）re.search(pattern, string[, flags])

　　search方法与match方法极其相似，区别在于match()函数只检测re是否是在string的开始位置匹配，search()会扫描整个string查找匹配，match（）只有在0位置匹配成功的话才有返回，若是不是开始位置匹配成功的话，match()就返回None。一样，search方法的返回对象一样match()返回对象的方法和属性。咱们用一个例子感觉一下

#导入re模块
import re

# 将正则表达式编译成Pattern对象
pattern = re.compile(r'world')
# 使用search()查找匹配的子串，不存在能匹配的子串时将返回None
# 这个例子中使用match()没法成功匹配
match = re.search(pattern,'hello world!')
if match:
    # 使用Match得到分组信息
    print match.group()
### 输出 ###
# world

　　（3）re.split(pattern, string[, maxsplit])

　　按照可以匹配的子串将string分割后返回列表。maxsplit用于指定最大分割次数，不指定将所有分割。咱们经过下面的例子感觉一下。

import re

pattern = re.compile(r'\d+')
print re.split(pattern,'one1two2three3four4')

### 输出 ###
# ['one', 'two', 'three', 'four', '']

　　（4）re.findall(pattern, string[, flags])

　　搜索string，以列表形式返回所有能匹配的子串。咱们经过这个例子来感觉一下

import re

pattern = re.compile(r'\d+')
print re.findall(pattern,'one1two2three3four4')

### 输出 ###
# ['1', '2', '3', '4']

　　（5）re.finditer(pattern, string[, flags])

搜索string，返回一个顺序访问每个匹配结果（Match对象）的迭代器。咱们经过下面的例子来感觉一下

import re
 
pattern = re.compile(r'\d+')
for m in re.finditer(pattern,'one1two2three3four4'):
    print m.group(),
 
### 输出 ###
# 1 2 3 4

　　（6）re.sub(pattern, repl, string[, count])

　　使用repl替换string中每个匹配的子串后返回替换后的字符串。
当repl是一个字符串时，可使用\id或\g、\g引用分组，但不能使用编号0。
当repl是一个方法时，这个方法应当只接受一个参数（Match对象），并返回一个字符串用于替换（返回的字符串中不能再引用分组）。
count用于指定最多替换次数，不指定时所有替换。

import re

pattern = re.compile(r'(\w+) (\w+)')
s = 'i say, hello world!'

print re.sub(pattern,r'\2 \1', s)

def func(m):
    return m.group(1).title() + ' ' + m.group(2).title()

print re.sub(pattern,func, s)

### output ###
# say i, world hello!
# I Say, Hello World!

　　（7）re.subn(pattern, repl, string[, count])

　　返回 (sub(repl, string[, count]), 替换次数)。

import re
 
pattern = re.compile(r'(\w+) (\w+)')
s = 'i say, hello world!'
 
print re.subn(pattern,r'\2 \1', s)
 
def func(m):
    return m.group(1).title() + ' ' + m.group(2).title()
 
print re.subn(pattern,func, s)
 
### output ###
# ('say i, world hello!', 2)
# ('I Say, Hello World!', 2)

　5.Python Re模块的另外一种使用方式

　　在上面咱们介绍了7个工具方法，例如match，search等等，不过调用方式都是 re.match，re.search的方式，其实还有另一种调用方式，能够经过pattern.match，pattern.search调用，这样调用便不用将pattern做为第一个参数传入了，你们想怎样调用皆可。

函数API列表

 match(string[, pos[, endpos]]) | re.match(pattern, string[, flags])
 search(string[, pos[, endpos]]) | re.search(pattern, string[, flags])
 split(string[, maxsplit]) | re.split(pattern, string[, maxsplit])
 findall(string[, pos[, endpos]]) | re.findall(pattern, string[, flags])
 finditer(string[, pos[, endpos]]) | re.finditer(pattern, string[, flags])
 sub(repl, string[, count]) | re.sub(pattern, repl, string[, count])
 subn(repl, string[, count]) |re.sub(pattern, repl, string[, count])

具体的调用方法没必要详说了，原理都相似，只是参数的变化不一样。小伙伴们尝试一下吧~