爬虫----js逆向/js反解析

目录

• • 一：js反解析思路：
  • 二：有道翻译案例：
  • • 1: 了解前端md5加密过程：
    • 2：完整代码：
    • 3：了解js代码转python代码：

一：js反解析思路：

• 1：抓包先找到请求url:
• 2：分析请求要携带的参数：请求头，参数。
• 3：抓包分析哪些参数是改变的，哪些是不变的。
• 4：分析参数的生成过程—在js中寻找参数的生成过程。

案例：分析有道翻译：
1： 找到请求的url:

2：分析请求要携带的参数：请求头，参数。
先分析出最多见的要携带的请求头参数：

3：分析请求参数，哪些是改变的：

4：在js中搜索，salt或者sign返回的地方：

5：找到代码位置，分析js代码：
按住ctrl + F :在js中搜索。(图中错了，时间戳是13位)

6：分析总结：

e: 输入的要翻译的内容。
ts: 当前时间戳字符串 [13位]
salt: 时间戳字符串拼接上0-9 的随机整数。
bv: 将 User-Agent 通过 md5 加密以后的密文
sign： 将 “fanyideskweb” + e + i + "Nw(nmmbP%A-r6U3EUn]Aj"通过 md5 加密以后的密文。

二：有道翻译案例：

1: 了解前端md5加密过程：

import _hashlib
import hashlib
md5_str = "python"

# 1：建立md5对象
md5 = hashlib.md5()
print(type(md5))
# <class '_hashlib.HASH'>
# 2：想对象中添加要加密的字符串
md5.update(md5_str.encode())
# 3：获取加密的结果：
ret = md5.hexdigest()
print(ret)
# 23eeeb4347bdd26bfc6b7ee9a3b755dd

2：完整代码：

import random
import time
import hashlib
import requests

class YoudaoSpider(object):

    def __init__(self, word):
        """初始化方法"""
        self.url = " http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule"
        self.headers = {
            "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36",
            "Cookie": 'OUTFOX_SEARCH_USER_ID_NCOO=1946753269.7896786; OUTFOX_SEARCH_USER_ID="1040134818@10.169.0.83"; JSESSIONID=aaa74ECzZIxo--iaSw9xx; ___rl__test__cookies=1606276051961',
            "Referer": "http://fanyi.youdao.com/"
        }
        self.word = word
        self.post_body = {}

    def genrator_post_body(self):
        """生成请求体字典方法"""
        # 1:拿到13位的时间戳
        ts = str(int(time.time()*1000))
        # 2: 获得salt = 13位时间戳+1位随机值
        salt = ts + str(random.randint(0, 10))
        # 3: 获得sign = 两个字符串 + 被翻译的值 + 盐值
        sign_str = "fanyideskweb" + self.word + salt + "]BjuETDhU)zqSxf-=B#7m"
        # 4: 将sign_str 用md5进行加密：
        md5 = hashlib.md5()
        md5.update(sign_str.encode())
        sign = md5.hexdigest()
        self.post_body = {
            "i": self.word,
            "from": "AUTO",
            "to": "AUTO",
            "smartresult": "dict",
            "client": "fanyideskweb",
            "salt": salt,
            "sign": sign,
            "ts": ts,
            "bv": "b286f0a34340b928819a6f64492585e8",
            "doctype": "json",
            "version": "2.1",
            "keyfrom": "fanyi.web",
            "action": "FY_BY_REALTlME"
        }

    def send_request(self):
        """发送请求的方法"""
        response = requests.post(self.url, headers=self.headers, data=self.post_body)
        return response.json()

    def parser_response(self, ret_dict):
        # 从字典中提取翻译结果
        # jsonpath: $..src
        ret = ret_dict["translateResult"][0][0]["tgt"]
        print("翻译的文本：{} 翻译的结果：{}".format(self.word, ret))


    def run(self):
        """运行函数"""
        self.genrator_post_body()
        ret_dict = self.send_request()
        self.parser_response(ret_dict)

if __name__ == '__main__':
    spider = YoudaoSpider('妈妈')
    spider.run()

3：了解js代码转python代码：

import js2py

js_str = """ function func(){ list = [1, 2, 3, 4, 5, 6, 7, 8, 9]; var sum = 0; for (var i=0; i<list.length; i++){ sum = sum + list[i]; }; return sum; } """
# 1：构建js环境
js = js2py.EvalJs()
# 2：执行js代码
js.execute(js_str)
# 3: 调用函数：
func_name = "func()"
js.execute("code = {}".format(func_name))
print(js.code)