【爬虫】python requests模拟登陆知乎

需求：模拟登陆知乎，由于知乎首页须要登陆才能够查看，因此想爬知乎上的内容首先须要登陆，那么问题来了，怎么用python进行模拟登陆以及会遇到哪些问题？

前期准备：

环境：ubuntu，python2.7

须要的包：requests包、正则表达式包

安装requests：pip install requests，关于requests的介绍能够看官方介绍：http://cn.python-requests.org/zh_CN/latest/user/quickstart.html ， 以及 http://cuiqingcai.com/2556.html 讲的也很好，简单明了

requests包实际上是代替了urllib2，而且提供了大量简洁好用的方法调用。

注意：经过Chrome Devtool能够看到知乎登陆的URL是：https//www.zhihu.com/login/email，使用邮箱进行登陆。

登陆的方式为POST，须要的参数有四个分别是：_xsrf、password、remember_me和email，除了第一个都很好理解，那么第一个参数是什么？

XSRF为跨站请求伪造（Cross-site request forgery），经过搜集资料，在大神的博客里找到有相应资料，http://cuiqingcai.com/2076.html ，说的也很清楚，有兴趣能够查看。这个参数目的就是为了防范XSRF攻击而设置的一个hash值，每次访问主页都会生成这样一个惟一的字符串。那么怎么获取这个参数的值，通过对知乎首页（https://www.zhihu.com）的代码查看能够看到有一个隐藏的标签：

那么就好解决了，直接在爬下来的网页内容中用正则表达式去匹配就OK了。

代码：

import requests
import re

def getContent(url):
　　#使用requests.get获取知乎首页的内容
    r = requests.get(url)
　　#request.get().content是爬到的网页的所有内容 return r.content

#获取_xsrf标签的值 def getXSRF(url):
　　#获取知乎首页的内容
    content = getContent(url)
　　#正则表达式的匹配模式
    pattern = re.compile('.*?<input type="hidden" name="_xsrf" value="(.*?)"/>.*?')
　　#re.findall查找全部匹配的字符串
    match = re.findall(pattern, content)
    xsrf = match[0]
　　#返回_xsrf的值
    return xsrf

#登陆的主方法 def login(baseurl,email,password):
　　#post须要的表单数据，类型为字典
    login_data = {
            '_xsrf': getXSRF(baseurl),
            'password': password,
            'remember_me': 'true',
            'email': email,
    }
　　#设置头信息
    headers_base = {
        'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
        'Accept-Encoding': 'gzip, deflate, sdch',
        'Accept-Language': 'en-US,en;q=0.8,zh-CN;q=0.6,zh;q=0.4,zh-TW;q=0.2',
        'Connection': 'keep-alive',
        'Host': 'www.zhihu.com',
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/43.0.2357.130 Safari/537.36', 
        'Referer': 'http://www.zhihu.com/',
    }
　　#使用seesion登陆，这样的好处是能够在接下来的访问中能够保留登陆信息
    session = requests.session()
　　#登陆的URL
    baseurl += "/login/email"
　　#requests 的session登陆，以post方式，参数分别为url、headers、data
    content = session.post(baseurl, headers = headers_base, data = login_data)
　　#成功登陆后输出为 {"r":0,
　　#"msg": "\u767b\u9646\u6210\u529f"
　　#} print content.text
　　#再次使用session以get去访问知乎首页，必定要设置verify = False，不然会访问失败
    s = session.get("http://www.zhihu.com", verify = False)
    print s.text.encode('utf-8')
　　#把爬下来的知乎首页写到文本中
    f = open('zhihu.txt', 'w')
    f.write(s.text.encode('utf-8'))

url = "http://www.zhihu.com" #进行登陆，将星号替换成你的知乎登陆邮箱和密码便可
login(url,"******@***.com","************")

 

最后，就成功把知乎首页的内容抓取下来了！下一步能够进行分析和筛选了。