做者:xiaoyu
微信公众号:Python数据科学
知乎:python数据分析师javascript
模拟登陆想必你们已经熟悉了,以前也分享过关于模拟登陆wechat和京东的实战,连接以下:
Python爬虫之模拟登陆wechat
Python爬虫之模拟登陆京东商城html
本篇,博主将分享另外一个模拟登陆的实例供你们分享,模拟登陆拉勾网。java
废话很少说了,仍是老套路使用fiddler
或者开发者工具
来帮助咱们完成模拟登陆的整个过程,经过观察http的headers请求头
来模拟 post 请求各类参数。固然如何找到这些参数就显得尤其重要了,一些参数是时间戳,而一些参数是动态加密的。python
对于这些参数的获取,有几个经常使用方法:linux
Ajax
获取参数;本篇的模拟登陆对象拉钩网就对登陆密码就进行了md5
双重加密,所以咱们只须双重加密得到相应的密码就能够了。git
import re import os import time import json import sys import subprocess import requests import hashlib from bs4 import BeautifulSoup
class Lagou_login(object): def __init__(self): self.session = requests.session() self.CaptchaImagePath = os.path.split(os.path.realpath(__file__))[0] + os.sep + 'captcha.jpg' self.HEADERS = {'Referer': 'https://passport.lagou.com/login/login.html', 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36' ' (KHTML, like Gecko) Chrome/53.0.2785.104 Safari/537.36' ' Core/1.53.4882.400 QQBrowser/9.7.13059.400', 'X-Requested-With': 'XMLHttpRequest'}
def encryptPwd(self, passwd): # 对密码进行了md5双重加密 passwd = hashlib.md5(passwd.encode('utf-8')).hexdigest() # veennike 这个值是在js文件找到的一个写死的值 passwd = 'veenike'+passwd+'veenike' passwd = hashlib.md5(passwd.encode('utf-8')).hexdigest() return passwd
对用户密码进行双重md5
加密。github
def getTokenCode(self): login_page = 'https://passport.lagou.com/login/login.html' data = self.session.get(login_page, headers= self.HEADERS) soup = BeautifulSoup(data.content, "lxml", from_encoding='utf-8') ''' 要从登陆页面提取token,code, 而后在头信息里面添加 <!-- 页面样式 --><!-- 动态token,防护伪造请求,重复提交 --> <script type="text/javascript"> window.X_Anti_Forge_Token = 'dde4db4a-888e-47ca-8277-0c6da6a8fc19'; window.X_Anti_Forge_Code = '61142241'; </script> ''' anti_token = {'X-Anit-Forge-Token': 'None', 'X-Anit-Forge-Code': '0'} anti = soup.findAll('script')[1].getText().splitlines() anti = [str(x) for x in anti] anti_token['X-Anit-Forge-Token'] = re.findall(r'= \'(.+?)\'', anti[1])[0] anti_token['X-Anit-Forge-Code'] = re.findall(r'= \'(.+?)\'', anti[2])[0] return anti_token
这部分能够从headers
请求头参数中看到,而且在页面源码中能够直接查找到。json
def getCaptcha(self): captchaImgUrl = 'https://passport.lagou.com/vcode/create?from=register&refresh=%s' % time.time() # 写入验证码图片 f = open(self.CaptchaImagePath, 'wb') f.write(self.session.get(captchaImgUrl, headers=self.HEADERS).content) f.close() # 打开验证码图片 if sys.platform.find('darwin') >= 0: subprocess.call(['open', self.CaptchaImagePath]) elif sys.platform.find('linux') >= 0: subprocess.call(['xdg-open', self.CaptchaImagePath]) else: os.startfile(self.CaptchaImagePath) # 输入返回验证码 captcha = input("请输入当前地址(% s)的验证码: " % self.CaptchaImagePath) print('你输入的验证码是:% s' % captcha) return captcha
subprocess
将会自动打开图片而不用手动点开(对应于3种经常使用操做系统)def login(self, user, passwd, captchaData=None, token_code=None): postData = {'isValidate': 'true', 'password': passwd, # 如需验证码,则添加上验证码 'request_form_verifyCode': (captchaData if captchaData!=None else ''), 'submit': '', 'username': user } login_url = 'https://passport.lagou.com/login/login.json' #头信息添加token login_headers = self.HEADERS.copy() token_code = self.getTokenCode() if token_code is None else token_code login_headers.update(token_code) # data = {"content":{"rows":[]},"message":"该账号不存在或密码错误,请从新输入","state":400} response = self.session.post(login_url, data=postData, headers=login_headers) data = json.loads(response.content.decode('utf-8')) if data['state'] == 1: return response.content elif data['state'] == 10010: print(data['message']) captchaData = self.getCaptcha() token_code = {'X-Anit-Forge-Code' : data['submitCode'], 'X-Anit-Forge-Token' : data['submitToken']} return self.login(user, passwd, captchaData, token_code) else: print(data['message']) return False
login_url
接口api判断登陆是否成功post
发出请求json
解析返回数据state
参数if __name__ == "__main__": username = input("请输入你的手机号或者邮箱\n >>>:") passwd = input("请输入你的密码\n >>>:") lg = Lagou_login() passwd = lg.encryptPwd(passwd) data = lg.login(username, passwd) if data: print(data) print('登陆成功') else: print('登陆不成功')
相信你们已经get到如何使用模拟登陆了,下面是成功登陆的显示结果:api
连接:https://github.com/xiaoyusmd/Lagou_login微信
关注微信公众号Python数据科学,获取 120G
人工智能 学习资料。