今天想作一个微博爬我的页面的工具,知足一些不可告人的秘密。那么首先就要作那件必作之事!模拟登录……php
代码是参考了:https://www.douban.com/note/2...python
我对代码进行了优化,重构成了Python 3.6 版本,而且加入了大量注释方便你们学习。ajax
PC 登陆新浪微博时, 在客户端用js预先对用户名、密码都进行了加密, 并且在POST以前会GET 一组参数,这也将做为POST_DATA 的一部分。 这样, 就不能用一般的那种简单方法来模拟POST 登陆( 好比 人人网 )。json
在提交POST请求以前, 须要GET 获取两个参数。
地址是:数组
http://login.sina.com.cn/sso/...缓存
获得的数据中有 servertime 和 nonce 的值, 是随机的,其余值貌似没什么用。python爬虫
def get_servertime(): url = 'http://login.sina.com.cn/sso/prelogin.php?entry=weibo&callback=sinaSSOController.preloginCallBack&su=dW5kZWZpbmVk&client=ssologin.js(v1.3.18)&_=1329806375939' # 返回出来的是一个Response对象,没法直接获取,text后,能够经过正则匹配到 # 大概长这样子的:sinaSSOController.preloginCallBack({"retcode":0,"servertime":1545606770, ...}) data = requests.request('GET', url).text p = re.compile('\((.*)\)') try: json_data = p.search(data).group(1) data = json.loads(json_data) servertime = str(data['servertime']) nonce = data['nonce'] return servertime, nonce except: print('获取 severtime 失败!') return None
经过httpfox 观察POST 的数据, 参数较复杂,其中 “su" 是加密后的username, sp 是加密后的password。servertime 和 nonce 是上一步获得的。其余参数是不变的。工具
username 通过了BASE64 计算:学习
username = base64.encodestring( urllib.quote(username) )[:-1]
password 通过了三次SHA1 加密, 且其中加入了 servertime 和 nonce 的值来干扰。
即: 两次SHA1加密后, 将结果加上 servertime 和 nonce 的值, 再SHA1 算一次。优化
def get_pwd(pwd, servertime, nonce): # 第一次计算,注意Python3 的加密须要encode,使用bytes pwd1 = hashlib.sha1(pwd.encode()).hexdigest() # 使用pwd1的结果在计算第二次 pwd2 = hashlib.sha1(pwd1.encode()).hexdigest() # 使用第二次的结果再加上以前计算好的servertime和nonce值,hash一次 pwd3_ = pwd2 + servertime + nonce pwd3 = hashlib.sha1(pwd3_.encode()).hexdigest() return pwd3 def get_user(username): # 将@符号转换成url中可以识别的字符 _username = urllib.request.quote(username) # Python3中的base64计算也是要字节 # base64出来后,最后有一个换行符,因此用了切片去了最后一个字符 username = base64.encodebytes(_username.encode())[:-1] return username
将参数组织好, POST请求。 这以后尚未登陆成功。
POST后获得的内容中包含一句:
location.replace("http://weibo.com/ajaxlogin.php?framelogin=1&callback=parent.sinaSSOController.feedBackUrlCallBack&retcode=101&reason=%B5%C7%C2%BC%C3%FB%BB%F2%C3%DC%C2%EB%B4%ED%CE%F3")
这是登陆失败时的结果, 登陆成功后结果与之相似, 不过retcode 的值是0 。
接下来再请求这个URL,这样就成功登陆到微博了。
记得要提早build 缓存。
关注公众号「Python专栏」,后台回复「模拟微博登录」,获取全套微博自动登录代码。