爬虫入门到精通-headers的详细讲解（模拟登陆知乎）

本文章属于爬虫入门到精通系统教程第七讲

直接开始案例吧。

本次咱们实现如何模拟登录知乎。

1.抓包

首先打开知乎登陆页 知乎 - 与世界分享你的知识、经验和看法

注意打开开发者工具后点击“preserve log”，密码记得故意输入错误，而后点击登陆

咱们很简单的就找到了 咱们须要的请求

_xsrf:81aa4a69cd410c3454ce515187f2d4c9
password:***
email:admin@wuaics.cn

能够看到请求一共有三个参数

email 和password就是咱们须要登陆的帐号及密码

那么_xsrf是什么？咱们在哪能找到？

像“_xsrf”这种参数，通常叫作页面校检码，是来检查你是不是从正常的登陆页面过来的。

那咱们复制这个值，在登陆页面找找看。

//input[@name="_xsrf"]/@value

因此，本次登陆咱们须要获得的数据已经都获得了

步骤以下：

1. 打开知乎登陆页面，获取_xsrf

2. 把_xsrf和本身的帐号及密码一块儿发送（模拟登陆）

2.模拟登陆

import requests

url = 'https://www.zhihu.com/#signin'
z = requests.get(url)
print z.status_code

咱们会看到 http状态码为500...

至于为何会返回500状态码呢？是由于咱们用程序来访问知乎被发现了...

咱们假装成浏览器，添加一行

能够看到返回正常了，http状态码为200(这就是headers的做用)

那咱们如今获取_xsrf

from lxml import etree
sel = etree.HTML(z1.content)
# 这个xsrf怎么获取 咱们上面有讲到
_xsrf = sel.xpath('//input[@name="_xsrf"]/@value')[0]

而后模拟登陆

loginurl = 'https://www.zhihu.com/login/email'
# 这里的_xsrf就是咱们刚刚上面获得的
formdata = {
    'email':'admin@wuaics.cn',
    'password':'你的密码',
    '_xsrf':_xsrf
}
z2 = requests.post(url=loginurl,data=formdata,headers=headers)
print z2.status_code
 #200
print z2.content
# '{"r":0,\n "msg": "\\u767b\\u5f55\\u6210\\u529f"\n}'
print z2.json()['msg']
# 登录成功

能够看到已经模拟登陆并成功了。

那咱们来打开知乎 - 与世界分享你的知识、经验和看法来检查下 是否有登陆成功

# 为何用这个页面呢？
# 由于这个页面只有登陆后才能看获得，若是没有登陆的话 会自动跳转让你登陆的
mylog = 'https://www.zhihu.com/people/pa-chong-21/logs'
z3 = requests.get(url=mylog,headers=headers)
print z3.status_code
#200
print z3.url
# u'https://www.zhihu.com/?next=%2Fpeople%2Fpa-chong-21%2Flogs'

发现页面url是 (https://www.zhihu.com/?next=%...

并非 我前面输入的 (https://www.zhihu.com/people/...

说明知乎判断咱们没有登陆，而后把咱们跳转到登陆页面了.

若是感兴趣的话，能够把z3.text 的返回值存为123.html，而后打开看看，是否是跳转到登陆页面了..

那么为何会跳到登陆页面呢？刚刚不是已经登陆成功了么？

这是由于，咱们这几个模拟请求，相互间都是独立的，因此z2登陆成功了，和z3并无什么关系。

那若是我如今想要z3不用再模拟登陆一次，也能登陆的话，怎么办呢？

咱们能够把z2登陆成功后获得的cookie给z3,这样，z3也就能登陆成功了.

用程序实现

再次判断下是否登陆成功。

z3 = requests.get(url=mylog,headers=headers)
print z3.url
# u'https://www.zhihu.com/people/pa-chong-21/logs'

咱们能够看到已经正常访问了。说明咱们登陆成功了

因此，之后只要你带着这个cookie，就能够访问登陆后的页面了.(这就是cookie的做用..)

最后附上一个小技巧.

当你须要登陆，或者说你须要在一段会话中操做（也就是咱们上面的操做）

会话对象高级用法 - Requests 2.10.0 文档

会话对象让你可以跨请求保持某些参数。它也会在同一个 Session 实例发出的全部请求之间保持 cookie， 期间使用 urllib3 的 connection pooling 功能。因此若是你向同一主机发送多个请求，底层的 TCP 链接将会被重用，从而带来显著的性能提高。 (参见 HTTP persistent connection).

使用会话后，咱们上面的代码能够改为这样

能够看到咱们没有把cookie传过去，可是仍是登陆成功了，这是由于session会自动帮你处理这些，会自动帮你管理cookie

咱们能够打印看下咱们请求的headers

能够看到headers里面自动加上了cookie

最后全部的代码都在kimg1234/pachong

最后再次总结一下

看完本篇文章后，你应该要

• 能理解User-Agent,cookie的做用

• 了解requests中的session用法

• 了解如何模拟登陆一个网页

若是你对requests这个库不太熟悉的话，你能够在快速上手 - Requests 2.10.0 文档浏览。