咕咕咕,我回来啦。html
放了很久的鸽子,说好的写猫眼票房榜推了将近一个月,轻点打我~python
写猫眼须要先解决字体动态加密,因此先写一篇如何破解简单一点的XX点评字体加密。
web
下面正文开始:
浏览器
你们爬取分析XX点评数据,最多见的无非两种:微信
一、分析全部店铺的各种评分和推荐菜等cookie
二、得到店铺里的评论数据
app
以前写过一篇最火的文章,《中国撸串指北:13万家烧烤店的吃货最爱》,就属于第一种。编辑器
而大众点评最大的难题就是字体加密,也就是这样字体
很明显点评网宁肯错杀一万,也不愿放过一个,干脆使用了本身定义的字体。不过既然自定义了字体,那么网页确定须要加载字体文件。网站
谷歌浏览器,右键检查,进入network 而后刷新页面,点击Font。
咱们来下载这个加载的字体:8f8cfde4.woff
粘贴到新页面 便可下载
将下载的字体导入FontEditor中打开
(百度家的在线字体编辑器)
http://fontstore.baidu.com/static/editor/index.html
导入以后:
咱们再结合网页源代码,就获得了相应乱码与数字的对应关系:
咱们能够发现网页中的乱码和FontEditor中的乱码后四位是同样的,好比说图中某店铺的点评数为2481,在网页源代码用【1】来表示,这在FontEditor的字体编辑器中对应的是【unie801,unieb78,uniefe4】。
因此咱们要作的是:
一、下载网站font字体包
二、将font字体包中导入FontEditor 观察获得乱码与数字的关系
三、前缀替换,并将字体名字和它们所对应的乱码构成一个字典
def get_font():
font = TTFont('8f8cfde4.woff')
font_names = font.getGlyphOrder()
# 这些文字就是在FontEditor软件打开字体文件后看到的文字名字
texts = ['','','1','2','3','4','5','6','7','8','9','0']
font_name = {}
# 将字体名字和它们所对应的乱码构成一个字典
for index,value in enumerate(texts):
a = font_names[index].replace('uni', '&#x').lower() + ";"
font_name[a] = value
return font_name
运行看一下:
没错,跟刚才观察的结果一致。
那么下面咱们获取网页源代码,并根据刚才 get_font()构成的字典进行替换。
import requests
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'}
cookies = {'cookie':'你的cookies'}
url = 'http://www.dianping.com/beijing/ch10/g110p1'
html = requests.get(url, headers=headers,cookies = cookies).text
#requests得到html
num = get_font()
#得到加密映射关系
for key in num:
if key in html:
html = html.replace(key, str(num[key]))
#替换html中加密文字
再看一下结果:
这样就破解了点评网的字体加密。
剩下各位就能够自行用喜欢的解析方式来解析html啦。
下篇写猫眼的字体动态加密。
转载请尽可能带上二维码或者结尾注明来源,谢谢了。
原创不易,点个好看吧
本文分享自微信公众号 - 一直学Python(python77777)。
若有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一块儿分享。