原本就很喜欢逛图书馆,时不时去借本书(注:借的都没看过),但我这个学期忽然发现了问题,每本书均可以借两个月,但不幸的是我最近一学期借的书所有超期,一天一毛钱,我心疼这钱啊!!!灵机一动,为何不写个脚原本通知本身图书超期呢?说了这么多废话,咱们就进入主题吧!!!php
咱们能够先看一下登陆页面(不少学校这些管理系统页面就是很low):html
两种方式去模拟登陆图书馆:python
1. 构造登陆表单进行模拟登陆mysql
这种方式模拟登陆彷佛是很可靠的,但有时候就是在验证码获取上很困难,若是简单的网站,有的会利用当前时间戳来构造验证码,这种就很容易从网页上观察出来,但好比咱们此次要模拟登陆的网站彷佛是不能这样作,由于它是使用JavaScript标准库里的Math函数直接随机生成的验证码连接,能够从下面图片上观察验证码处的代码:linux
日了个狗,它使用Math.random()函数返回 [0-1) 的浮点值伪随机数(大于等于0,小于1),刚开始我觉得python的math.random()函数生成的随机数和JavaScript的有区别,后来试了一下,呵呵,原来两个函数生成的随机数都是[0-1)并且都是16位小数点的。那样子咱们就能够模拟登陆了。
首先,在模拟登陆先,咱们应该在浏览器上模拟登陆一次,观察页面变化状况,刚开始时页面只有login.php页面的:sql
而后咱们输入验证码后再观察一下,页面马上被转向redr_info.php,同时还有redr_verify.php页面出现数据库
而后看看咱们的redr_info.php里面的东西,唉,怎么这个页面是GET请求呢??
那验证登陆请求的POST页面在哪里去了呢??带着疑问看看redr_verify.php,光是看这个页面的命名就以为这是个验证登陆的页面:
果真,POST请求在这里,那咱们就能够构造登陆表单经过这个页面来模拟登陆了。
前期工做准备得差很少了,开始找这个redr_verify.php的post提交部分的内容了,咱们从登陆页面应该也能够知道咱们须要提交学号、密码、验证码这三个。咱们能够去redr_verify.php下看看咱们POST表单提交的数据
咱们只须要填写前面四项就能够了,第四项是什么呢,我回到登陆页面看了一下,就是下面图片的选择,
而后贴代码吧浏览器
import subprocess import sys import os session = requests.Session() session.headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.82 Safari/537.36' } def login(name, password): random_num = random.random() # 生成随机数,构造获取验证码的连接 url = 'http://210.38.102.131:86/reader/captcha.php?' + str(random_num) get_captcha = session.get(url).content with open('captcha.png', 'wb') as f: f.write(get_captcha) f.close() ''' 这段代码是为了方便咱们打开图片,它能够直接打开图片 咱们就不用去文件夹里去找,里面是判断使用什么系统, 不一样系统打开方式有点差别,能够找python文档了解这部份内容 ''' if sys.platform.find('darwin') >= 0: subprocess.call(['open', 'captcha.png']) elif sys.platform.find('linux') >= 0: subprocess.call(['xdg-open', 'captcha.png']) else: os.startfile('captcha.png') input_captcha = input('请输入验证码:') input_captcha = str(input_captcha) # 构造登陆表单,里面就是咱们上面说起的四项 post_data = { 'number': name, 'passwd': password, 'captcha': input_captcha, 'select': 'cert_no' } login_url = 'http://210.38.102.131:86/reader/redr_verify.php' html = session.post(login_url, data=post_data).content book_hist_url = 'http://210.38.102.131:86/reader/book_hist.php' content = session.get(book_hist_url).content.decode('utf-8') print(content)
这就模拟登陆成功了,
好吧!咱们换用一种比这个更简单的方式模拟登陆吧!cookie
2. 经过Cookie登陆图书馆session
Cookie,指某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据(一般通过加密)。
这里咱们使用Requests库来进行模拟登陆过程,在这以前咱们还有个问题,怎么获取Cookie呢??
若是你使用的是谷歌浏览器,那你能够经过按F12就能够看到下图里面有个Cookie的内容,这就是你要的东西:
再上个图分析一下,但愿你们能有耐心读下去:
经过图片咱们知道能够获取借阅日期和应还日期,获取日期后根据应还日期和当前日期比较,就能够得出是否超期的结果。很少说,先贴代码再说:
import requests session = requests.Session() # 会话对象让你可以跨请求保持某些参数,它也会在同一个Session实例发出的全部请求之间保持cookie session.headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.84 Safari/537.36', 'Cookie': 'ASP.NET_SessionId=1qri0rmoylpyrs45rurzme55; Hm_lvt_ed06d5e5f94d85932b82e4aac94d0c68=1467535679,1469713840; Hm_lpvt_ed06d5e5f94d85932b82e4aac94d0c68=1469713840; PHPSESSID=ev339udv0rrhqg6tfdvfukqos1' }
上述代码使用了requests的会话对象来保存Cookie, 若是咱们须要跳转到其它页面,咱们不用每次都模拟登陆,由于cookie已经保存了咱们的登陆状态。
会不会有人疑问,不是要说模拟登陆的吗??怎么没有这过程呢??
其实咱们上面代码中的Cookie已经保存了咱们的登陆状态,至关于咱们已经模拟登陆过了,这样子模拟登陆是否是简单多了,但缺点是咱们须要手动在登陆页面输入一遍,而后再从登陆页面找到cookie粘贴到代码中来
经过分析页面,咱们可使用BeautifulSoup来提取咱们须要的内容,咱们须要的是书籍的条形码、题名和做者、借阅日期、应还日期,其实咱们只须要应还日期就行,但为了之后须要,先获取书籍的全部信息并保存进数据库里面:
定义了一个数据库操做的函数,方便之后调用
def get_mysql(): conn = pymysql.connect(host = 'localhost', user = 'root', passwd = '2014081029', db = 'mysql', charset = 'utf8') # user为数据库的名字,passwd为数据库的密码,通常把要把字符集定义为utf8,否则存入数据库容易遇到编码问题 cur = conn.cursor() # 获取操做游标 cur.execute('use book') # 使用book这个数据库 return (cur, conn)
定义一个函数来获取图书信息并保存:
def get_book_name(book_url): html = session.get(book_url, cookies = cookie, headers = headers).content.decode('utf-8') soup = BeautifulSoup(html, 'lxml') book_bar = [] # 书籍的条形码列表,用来判断要存入数据库的书籍是否已经存在 cur, conn = get_mysql() sql = 'select * from book_list;' cur.execute(sql) rows = cur.fetchall() for row in rows: book_bar.append(row[1]) book_list = [] # 这个是我测试时使用的,做用是把每本书籍的信息列表放在这个列表中 book_every = [] # 一本书籍的全部信息列表 for book_time in soup.find_all('td', class_="whitetext"): print(book_time.get_text().strip()) # 移除字符串头尾指定的字符(默认为空格) pattern = re.compile(r'\s') content = re.sub(pattern, r'', book_time.get_text()) # 目的也是匹配任何空白符并去除,貌似对空行去除没影响 if content != '': book_every.append(content) if len(book_every) == 7: book_list.append(book_every) if book_every[0] not in book_bar: sql = 'insert book_list(条形码, 题名和做者, 借阅日期, 应还日期, 续借量, 馆藏地, 附件) value(' + "\'" \ + book_every[0] + "\'," + "\'" + book_every[1] + "\'," + "\'" + book_every[2] + "\'," + "\'" \ + book_every[3] + "\'," + "\'" + book_every[4] + "\'," + "\'" + book_every[5] + "\'," + "\'" \ + book_every[6] + "\'" + ');' try: cur.execute(sql) conn.commit() except: conn.rollback() book_every = [] print(book_list)
接下来咱们分析一下上面代码中没有注释的代码,首先咱们先把处理后的信息加入book_every列表中,而后从页面源代码(tp9.png)中咱们能够知道,一本书信息中只须要前面7项内容,所以咱们使用一个判断语句:
if len(book_every) == 7: book_list.append(book_every) if book_every[0] not in book_title: sql = 'insert book_list(条形码, 题名和做者, 借阅日期, 应还日期, 续借量, 馆藏地, 附件) value(' + "\'" \ + book_every[0] + "\'," + "\'" + book_every[1] + "\'," + "\'" + book_every[2] + "\'," + "\'" \ + book_every[3] + "\'," + "\'" + book_every[4] + "\'," + "\'" + book_every[5] + "\'," + "\'" \ + book_every[6] + "\'" + ');' try: cur.execute(sql) conn.commit() except: conn.rollback() # 若是存入数据库失败,执行回滚操做 book_every = []
也就是说,若是判断出book_every已经达到7项内容,就执行存入数据库的操做,而后在把book_every重置为空列表
先贴上代码:
def send_message(): day_num = [31, 29, 31, 30, 31, 30, 31, 31, 30, 31, 30, 31] day_num1 = [31, 28, 31, 30, 31, 30, 31, 31, 30, 31, 30, 31] sql = 'select * from book_list;' cur, conn = get_mysql() cur.execute(sql) rows = cur.fetchall() local_time = time.strftime("%Y-%m-%d", time.localtime()) # 获取当前时间 local_time = str(local_time) times = re.split(r'-', local_time) year = times[0] number = 0 while(True): for i in rows: print(i[4]) pattern = re.split(r'-', i[4]) if times[1] == pattern[1]: day = int(times[2]) - int(pattern[2]) if day > 0: print('已经超期了%d天' % day) number += 1 send_email(day, number, i[2]) elif times[1] > pattern[1]: if (year % 4 == 0 and year % 100 != 0) or year % 400 == 0: extend_day = day_num1[int(pattern[1]) - 1] - int(pattern[2]) + times[2] print('已经超期了%d天' % extend_day) number += 1 send_email(day, number, i[2]) else: extend_day = day_num[int(pattern[1]) - 1] - int(pattern[2]) + times[2] print('已经超期了%d天' % extend_day) number += 1 send_email(day, number, i[2]) else: print('尚未超期的书籍') print(pattern[2]) time.sleep(3600 * 24)
咱们来分析代码吧,首先咱们判断是否超期是根据当前时间和应还日期的相加减获得的,因此咱们考虑到:
若是应还日期是上个月,这里咱们就要进行月份的相加减,由于闰年和平年的月份不同,因此咱们定义了day_num和day_num1两个列表来表示闰年和平年的月份天数。
而后咱们使用月份当作判断条件来比较超期天数
月份判断,若是当前月份等于应还月份,就执行下面操做,注意里面已经包含发送邮件函数,下面会贴出发送邮件函数,你们也许会想,为何没有判断年份,由于我通常借书不会超期这么久,因此没有加上这个判断
if times[1] == pattern[1]: day = int(times[2]) - int(pattern[2]) if day > 0: print('已经超期了%d天' % day) number += 1 send_email(day, number, i[2])
而后是当前月份大于应还月份时,这时候就有闰年和平年的判断了
elif times[1] > pattern[1]: if (year % 4 == 0 and year % 100 != 0) or year % 400 == 0: extend_day = day_num1[int(pattern[1]) - 1] - int(pattern[2]) + times[2] print('已经超期了%d天' % extend_day) number += 1 send_email(day, number, i[2])
下面贴出发送邮件的代码:
def send_email(day, number, title): from_addr = '15602200534@163.com' password = '就不告诉你' to_addr = '673411814@qq.com' smtp_server = 'smtp.163.com' text = 'Hello ,郭伟匡, 告诉你一个很差的消息,赶忙带上你的书,去图书馆交钱吧!你有一本叫《%s》的书籍超期了' \ ',并且已经超期了%d天了,总共有%d书超期了!!!' % (title, day, number) msg = MIMEText(text, 'plain', 'utf-8') msg['From'] = format_addr('图书馆的通知<%s>' % from_addr) msg['To'] = format_addr('管理员<%s>' % to_addr) msg['Subject'] = Header('来着郭伟匡的问候......', 'utf-8').encode() server = smtplib.SMTP(smtp_server, 25) server.set_debuglevel(1) server.login(from_addr, password) server.sendmail(from_addr, [to_addr], msg.as_string()) server.quit()
其实咱们还有一种最简单的判断相差日期的方法,
那就是使用python提供的datetime模块,就利用方案一里面的东西来讲吧
local_time = time.strftime("%Y-%m-%d", time.localtime()) # 获取当前时间 local_time = str(local_time) times = re.split(r'-', local_time)
咱们经过split分离出年月往后,就能够很简单得使用datetime进行日期相加减了,咱们datetime相加减日期的用法以下:
d1 = datetime.datetime(2016, 4, 3) d2 = datetime.datetime(2016, 6, 23) print((d2 - d1).days)
打印结果就是相差天数,这样在判断日期方面就变得十分简单了,因此方案二显然比方案一好得多了
关于发送邮件的知识。。。我靠,0:22了,还没洗澡呢,下次有空再补上这部分知识,仍是贴出廖雪峰网站关于这方面的知识吧 廖雪峰网站关于SMTP发送邮件。
差点忘了把发送邮件的截图发出来: