抖音数据采集教程，一篇文章带你领悟Frida的精髓

时间 2021-01-15

标签 java node python linux android git github shell 编程 json 栏目网络爬虫繁體版

原文原文链接

抖音数据采集教程，一篇文章带你领悟Frida的精髓

frida是啥？

首先，frida是啥，github目录Awesome Frida这样介绍frida的：java

Frida is Greasemonkey for native apps, or, put in more technical terms, it’s a dynamic code instrumentation toolkit. It lets you inject snippets of JavaScript into native apps that run on Windows, Mac, Linux, iOS and Android. Frida is an open source software.node

frida是平台原生app的Greasemonkey，说的专业一点，就是一种动态插桩工具，能够插入一些代码到原生app的内存空间去，（动态地监视和修改其行为），这些原平生台能够是Win、Mac、Linux、Android或者iOS。并且frida仍是开源的。
Greasemonkey可能你们不明白，它其实就是firefox的一套插件体系，使用它编写的脚本能够直接改变firefox对网页的编排方式，实现想要的任何功能。并且这套插件仍是外挂的，很是灵活机动。
frida也是同样的道理。python

frida为何这么火？

动静态修改内存实现做弊一直是刚需，好比金山游侠，本质上frida作的跟它是一件事情。原则上是能够用frida把金山游侠，包括CheatEngine等“外挂”作出来的。
固然，如今已经不是直接修改内存就能够高枕无忧的年代了。你们也不要这样作，作外挂但是违法行为。
在逆向的工做上也是同样的道理，使用frida能够“看到”平时看不到的东西。出于编译型语言的特性，机器码在CPU和内存上执行的过程当中，其内部数据的交互和跳转，对用户来说是看不见的。固然若是手上有源码，甚至哪怕有带调试符号的可执行文件包，也可使用gbd、lldb等调试器连上去看。
那若是没有呢？若是是纯黑盒呢？又要对app进行逆向和动态调试、甚至自动化分析以及规模化收集信息的话，咱们须要的是细粒度的流程控制和代码级的可定制体系，以及不断对调试进行动态纠正和可编程调试的框架，这就是frida。
frida使用的是python、JavaScript等“胶水语言”也是它火爆的一个缘由，能够迅速将逆向过程自动化，以及整合到现有的架构和体系中去，为大家发布“威胁情报”、“数据平台”甚至“AI风控”等产品打好基础。

官宣屁屁踢甚至将其敏捷开发和迅速适配到现有架构的能力做为其核心卖点。linux

frida实操环境

主机：android

Host：Macbook Air CPU: i5 Memory:8GSystem：Kali Linux 2018.4 （Native，非虚拟机）git

客户端：github

client：Nexus 6 shamu CPU：Snapdragon 805 Mem：3GSystem：lineage-15.1-20181123-NIGHTLY-shamu，android 8.1shell

用kali linux的缘由是工具很全面，权限很单一，只有一个root，做为原型开发很好用，不然python和node的各类权限、环境和依赖实在是烦。用lineage由于它有便利的网络ADB调试，能够省掉一个usb数据线链接的过程。（虽然真实的缘由是没钱买新设备，Nexus 6官方只支持到7.1.1，想上8.1只有lineage一个选择。）记得须要刷进去一个lineage的 su包，获取root权限，frida是须要在root权限下运行的。
首先到官网下载一个platform-tools的linux版本——SDK Platform-Tools for Linux，下载解压以后能够直接运行里面的二进制文件，固然也能够把路径加到环境里去。这样adb和fastboot命令就有了。
而后再将frida-server下载下来，拷贝到安卓机器里去，使用root用户跑起来，保持adb的链接不要断开。编程

$ ./adb root # might be required
$ ./adb push frida-server /data/local/tmp/
$ ./adb shell "chmod 755 /data/local/tmp/frida-server"
$ ./adb shell "/data/local/tmp/frida-server &"

最后在kali linux里安装好frida便可，在kali里安装frida真是太简单了，一句话命令便可，保证不出错。（可能会须要先安装pip，也是一句话命令：curl [[https://bootstrap.pypa.io/get-pip.py](https://bootstrap.pypa.io/get-pip.py)]([https://bootstrap.pypa.io/get-pip.py](https://bootstrap.pypa.io/get-pip.py)) -o get-pip.py）json

pip install frida-tools

而后用frida-ps -U命令连上去，就能够看到正在运行的进程了。

root@kali:~# frida-ps -U
Waiting for USB device to appear...
 PID  Name
----  -----------------------------------------------
 431  ATFWD-daemon
3148  adbd
 391  adspd
2448  android.ext.services
 358  android.hardware.cas@1.0-service
 265  android.hardware.configstore@1.0-service
 359  android.hardware.drm@1.0-service
 360  android.hardware.dumpstate@1.0-service.shamu
 361  android.hardware.gnss@1.0-service
 266  android.hardware.graphics.allocator@2.0-service
 357  android.hidl.allocator@1.0-service
 ...
 ...

基本能力Ⅰ：hook参数、修改结果

先本身写个app：

package com.roysue.demo02;
import android.support.v7.app.AppCompatActivity;
import android.os.Bundle;
import android.util.Log;
public class MainActivity extends AppCompatActivity {
    @Override
    protected void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);
        setContentView(R.layout.activity_main);
        while (true){
            try {
                Thread.sleep(1000);
            } catch (InterruptedException e) {
                e.printStackTrace();
            }
            fun(50,30);
        }
    }
    void fun(int x , int y ){
        Log.d("Sum" , String.valueOf(x+y));
    }
}

原理上很简单，就是间隔一秒在控制台输出一下fun(50,30)函数的结果，fun()这个函数的做用是求和。那最终结果在控制台以下所示。

$ adb logcat |grep Sum
11-26 21:26:23.234  3245  3245 D Sum     : 80
11-26 21:26:24.234  3245  3245 D Sum     : 80
11-26 21:26:25.235  3245  3245 D Sum     : 80
11-26 21:26:26.235  3245  3245 D Sum     : 80
11-26 21:26:27.236  3245  3245 D Sum     : 80
11-26 21:26:28.237  3245  3245 D Sum     : 80
11-26 21:26:29.237  3245  3245 D Sum     : 80

如今咱们来写一段js代码，并用frida-server将这段代码加载到com.roysue.demo02中去，执行其中的hook函数。

$ nano s1.js

console.log("Script loaded successfully ");
Java.perform(function x() {
    console.log("Inside java perform function");
    //定位类
    var my_class = Java.use("com.roysue.demo02.MainActivity");
    console.log("Java.Use.Successfully!");//定位类成功！
    //在这里更改类的方法的实现（implementation）
    my_class.fun.implementation = function(x,y){
        //打印替换前的参数
        console.log( "original call: fun("+ x + ", " + y + ")");
        //把参数替换成2和5，依旧调用原函数
        var ret_value = this.fun(2, 5);
        return ret_value;
    }
});

而后咱们在kali主机上使用一段python脚本，将这段js脚本“传递”给安卓系统里正在运行的frida-server。

$ nano loader.py

import time
import frida
# 链接安卓机上的frida-server
device = frida.get_usb_device()
# 启动`demo02`这个app
pid = device.spawn(["com.roysue.demo02"])
device.resume(pid)
time.sleep(1)
session = device.attach(pid)
# 加载s1.js脚本
with open("s1.js") as f:
    script = session.create_script(f.read())
script.load()
# 脚本会持续运行等待输入
raw_input()

而后得保证frida-server正在运行，方法能够是在kali主机输入frida-ps -U命令，若是安卓机上的进程出现了，则frida-server运行良好。
还须要保证selinux是关闭的状态，能够在adb shell里，su -得到root权限以后，输入setenforce 0命令来得到，在Settings→About Phone→SELinux status里看到Permissive，说明selinux关闭成功。
而后在kali主机上输入python loader.js，能够观察到安卓机上com.roysue.demo02这个app立刻重启了。而后$ adb logcat|grep Sum里的内容也变了。

11-26 21:44:47.875  2420  2420 D Sum     : 80
11-26 21:44:48.375  2420  2420 D Sum     : 80
11-26 21:44:48.875  2420  2420 D Sum     : 80
11-26 21:44:49.375  2420  2420 D Sum     : 80
11-26 21:44:49.878  2420  2420 D Sum     : 7
11-26 21:44:50.390  2420  2420 D Sum     : 7
11-26 21:44:50.904  2420  2420 D Sum     : 7
11-26 21:44:51.408  2420  2420 D Sum     : 7
11-26 21:44:51.921  2420  2420 D Sum     : 7
11-26 21:44:52.435  2420  2420 D Sum     : 7
11-26 21:44:52.945  2420  2420 D Sum     : 7
11-26 21:44:53.459  2420  2420 D Sum     : 7
11-26 21:44:53.970  2420  2420 D Sum     : 7
11-26 21:44:54.480  2420  2420 D Sum     : 7

在kali主机上能够观察到：

$ python loader.py
Script loaded successfully
Inside java perform function
Java.Use.Successfully!
original call: fun(50, 30)
original call: fun(50, 30)
original call: fun(50, 30)
original call: fun(50, 30)
original call: fun(50, 30)
original call: fun(50, 30)
original call: fun(50, 30)
original call: fun(50, 30)
original call: fun(50, 30)

说明脚本执行成功了，代码也插到com.roysue.demo02这个包里去，而且成功执行了，s1.js里的代码成功执行了，而且把交互结果传回了kali主机上。

基本能力Ⅱ：参数构造、方法重载、隐藏函数的处理

咱们如今把app的代码稍微写复杂一点点：

package com.roysue.demo02;
import android.support.v7.app.AppCompatActivity;
import android.os.Bundle;
import android.util.Log;
public class MainActivity extends AppCompatActivity {
    private String total = "@@@###@@@";
    @Override
    protected void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);
        setContentView(R.layout.activity_main);
        while (true){
            try {
                Thread.sleep(1000);
            } catch (InterruptedException e) {
                e.printStackTrace();
            }
            fun(50,30);
            Log.d("ROYSUE.string" , fun("LoWeRcAsE Me!!!!!!!!!"));
        }
    }
    void fun(int x , int y ){
        Log.d("ROYSUE.Sum" , String.valueOf(x+y));
    }
    String fun(String x){
        total +=x;
        return x.toLowerCase();
    }
    String secret(){
        return total;
    }
}

app运行起来后在使用logcat打印出来的日志以下：

$ adb logcat |grep ROYSUE
11-26 22:22:35.689  3051  3051 D ROYSUE.Sum: 80
11-26 22:22:35.689  3051  3051 D ROYSUE.string: lowercase me!!!!!!!!!
11-26 22:22:36.695  3051  3051 D ROYSUE.Sum: 80
11-26 22:22:36.696  3051  3051 D ROYSUE.string: lowercase me!!!!!!!!!
11-26 22:22:37.696  3051  3051 D ROYSUE.Sum: 80
11-26 22:22:37.696  3051  3051 D ROYSUE.string: lowercase me!!!!!!!!!
11-26 22:22:38.697  3051  3051 D ROYSUE.Sum: 80
11-26 22:22:38.697  3051  3051 D ROYSUE.string: lowercase me!!!!!!!!!
11-26 22:22:39.697  3051  3051 D ROYSUE.Sum: 80
11-26 22:22:39.698  3051  3051 D ROYSUE.string: lowercase me!!!!!!!!!

能够看到fun()方法有了重载，在参数是两个int的状况下，返回两个int之和。在参数为String类型之下，则返回字符串的小写形式。
另外，secret()函数为隐藏方法，在app里没有被直接调用。
这时候若是咱们直接使用上一节里面的js脚本和loader.js来加载的话，确定会崩溃。为了看到崩溃的信息，咱们对loader.js作一些处理。

def my_message_handler(message , payload): #定义错误处理
    print message
    print payload
...
script.on("message" , my_message_handler) #调用错误处理
script.load()

再运行$ python loader.py的话，就会看到以下的错误信息返回：

$ python loader.py
Script loaded successfully
Inside java perform function
Java.Use.Successfully!
{u'columnNumber': 1, u'description': u"Error: fun(): has more than one overload, use .overload(<signature>) to choose from:\n\t.overload('java.lang.String')\n\t.overload('int', 'int')", u'fileName': u'frida/node_modules/frida-java/lib/class-factory.js', u'lineNumber': 2233, u'type': u'error', u'stack': u"Error: fun(): has more than one overload, use .overload(<signature>) to choose from:\n\t.overload('java.lang.String')\n\t.overload('int', 'int')\n    at throwOverloadError (frida/node_modules/frida-java/lib/class-factory.js:2233)\n    at frida/node_modules/frida-java/lib/class-factory.js:1468\n    at x (/script1.js:14)\n    at frida/node_modules/frida-java/lib/vm.js:43\n    at M (frida/node_modules/frida-java/index.js:347)\n    at frida/node_modules/frida-java/index.js:299\n    at frida/node_modules/frida-java/lib/vm.js:43\n    at frida/node_modules/frida-java/index.js:279\n    at /script1.js:15"}
None

能够看出是一个throwOverloadError，这时候就是由于咱们没有处理重载，形成的重载处理错误。这个时候就须要咱们来处理重载了，在js脚本中处理重载是这样写的：

my_class.fun.overload("int" , "int").implementation = function(x,y){
...
my_class.fun.overload("java.lang.String").implementation = function(x){

其中参数均为两个int的状况下，上一节已经讲过了。参数为String类的时候，因为String类不是Java基本数据类型，而是java.lang.String类型，因此在替换参数的构造上，须要花点心思。

var string_class = Java.use("java.lang.String"); //获取String类型
my_class.fun.overload("java.lang.String").implementation = function(x){
  console.log("*************************************");
  var my_string = string_class.$new("My TeSt String#####"); //new一个新字符串
  console.log("Original arg: " +x );
  var ret =  this.fun(my_string); // 用新的参数替换旧的参数，而后调用原函数获取结果
  console.log("Return value: "+ret);
  console.log("*************************************");
  return ret;
};

这样咱们对于重载函数的处理就算是ok了。咱们到实验里来看下：

$ python loader.py
Script loaded successfully
Inside java perform function
original call: fun(50, 30)
*************************************
Original arg: LoWeRcAsE Me!!!!!!!!!
Return value: my test string#####
*************************************
original call: fun(50, 30)
*************************************
Original arg: LoWeRcAsE Me!!!!!!!!!
Return value: my test string#####
*************************************
original call: fun(50, 30)
*************************************
Original arg: LoWeRcAsE Me!!!!!!!!!
Return value: my test string#####
*************************************

而后logcat打出来的结果也变了。

$ adb logcat |grep ROYSUE
11-26 22:23:29.597  3244  3244 D ROYSUE.Sum: 7
11-26 22:23:29.673  3244  3244 D ROYSUE.string: my test string#####
11-26 22:23:30.689  3244  3244 D ROYSUE.Sum: 7
11-26 22:23:30.730  3244  3244 D ROYSUE.string: my test string#####
11-26 22:23:31.740  3244  3244 D ROYSUE.Sum: 7
11-26 22:23:31.789  3244  3244 D ROYSUE.string: my test string#####
11-26 22:23:32.797  3244  3244 D ROYSUE.Sum: 7
11-26 22:23:32.833  3244  3244 D ROYSUE.string: my test string#####

最后再说一下隐藏方法的调用，frida对其的处理办法跟Xposed是很是像的，Xposed使用的是XposedHelpers.findClass("com.example.inner_class_demo.demo",lpparam.classLoader);方法，直接findClass，其实frida也很是相似，也是使用的直接到内存里去寻找的方法，也就是Java.choose(className, callbacks)函数，经过类名触发回掉函数。

Java.choose("com.roysue.demo02.MainActivity" , {
  onMatch : function(instance){ //该类有多少个实例，该回调就会被触发多少次
    console.log("Found instance: "+instance);
    console.log("Result of secret func: " + instance.secret());
  },
  onComplete:function(){}
});

最终运行效果以下：

$ python loader.py
Script loaded successfully
Inside java perform function
Found instance: com.roysue.demo02.MainActivity@92d5deb
Result of secret func: @@@###@@@
original call: fun(50, 30)
*************************************
Original arg: LoWeRcAsE Me!!!!!!!!!
Return value: my test string#####
*************************************
original call: fun(50, 30)
*************************************
Original arg: LoWeRcAsE Me!!!!!!!!!
Return value: my test string#####
*************************************
original call: fun(50, 30)

这样隐藏方法也被调用起来了。

中级能力：远程调用

上一小节中咱们在安卓机器上使用js脚本调用了隐藏函数secret()，它在app内虽然没有被任何地方调用，可是仍然被咱们的脚本“找到”而且“调用”了起来
这一小节咱们要实现的是，不只要在跑在安卓机上的js脚本里调用这个函数，还要能够在kali主机上的py脚本里，直接调用这个函数。
也就是使用frida提供的RPC功能（Remote Procedure Call）。
安卓app不须要有任何修改，此次咱们要修改的是js脚本和py脚本。

$ nano s3.js

console.log("Script loaded successfully ");
function callSecretFun() { //定义导出函数
    Java.perform(function () { //找到隐藏函数而且调用
        Java.choose("com.roysue.demo02.MainActivity", {
            onMatch: function (instance) {
                console.log("Found instance: " + instance);
                console.log("Result of secret func: " + instance.secret());
            },
            onComplete: function () { }
        });
    });
}
rpc.exports = {
    callsecretfunction: callSecretFun //把callSecretFun函数导出为callsecretfunction符号，导出名不能够有大写字母或者下划线
};

而后咱们能够在kali主机的py脚本里直接调用该函数：

$ nano loader3.py

import time
import frida
def my_message_handler(message, payload):
    print message
    print payload
device = frida.get_usb_device()
pid = device.spawn(["com.roysue.demo02"])
device.resume(pid)
time.sleep(1)
session = device.attach(pid)
with open("s3.js") as f:
    script = session.create_script(f.read())
script.on("message", my_message_handler)
script.load()
command = ""
while 1 == 1:
    command = raw_input("Enter command:\n1: Exit\n2: Call secret function\nchoice:")
    if command == "1":
        break
    elif command == "2": #在这里调用
        script.exports.callsecretfunction()

而后在kali主机上咱们就能够看到如下的输出：

$ python loader3.py
Script loaded successfully
Enter command:
1: Exit
2: Call secret function
choice:2
Found instance: com.roysue.demo02.MainActivity@2eacd80
Result of secret func: @@@###@@@LoWeRcAsE Me!!!!!!!!!LoWeRcAsE Me!!!!!!!!!LoWeRcAsE Me!!!!!!!!!LoWeRcAsE Me!!!!!!!!!
Enter command:
1: Exit
2: Call secret function
choice:2
Found instance: com.roysue.demo02.MainActivity@2eacd80
Result of secret func: @@@###@@@LoWeRcAsE Me!!!!!!!!!LoWeRcAsE Me!!!!!!!!!LoWeRcAsE Me!!!!!!!!!LoWeRcAsE Me!!!!!!!!!LoWeRcAsE Me!!!!!!!!!LoWeRcAsE Me!!!!!!!!!LoWeRcAsE Me!!!!!!!!!
Enter command:
1: Exit
2: Call secret function
choice:2
Found instance: com.roysue.demo02.MainActivity@2eacd80
Result of secret func: @@@###@@@LoWeRcAsE Me!!!!!!!!!LoWeRcAsE Me!!!!!!!!!LoWeRcAsE Me!!!!!!!!!LoWeRcAsE Me!!!!!!!!!LoWeRcAsE Me!!!!!!!!!LoWeRcAsE Me!!!!!!!!!LoWeRcAsE Me!!!!!!!!!LoWeRcAsE Me!!!!!!!!!LoWeRcAsE Me!!!!!!!!!
Enter command:
1: Exit
2: Call secret function
choice:1

这样咱们就实现了在kali主机上直接调用安卓app内部的函数的能力。

高级能力：互联互通、动态修改

最后咱们要实现的功能是，咱们不只仅能够在kali主机上调用安卓app里的函数。咱们还能够把数据从安卓app里传递到kali主机上，在主机上进行修改，再传递回安卓app里面去。
咱们编写这样一个app，其中最核心的地方在于判断用户是否为admin，若是是，则直接返回错误，禁止登录。若是不是，则把用户和密码上传到服务器上进行验证。

package com.roysue.demo04;
import android.support.v7.app.AppCompatActivity;
import android.os.Bundle;
import android.util.Base64;
import android.view.View;
import android.widget.EditText;
import android.widget.TextView;
public class MainActivity extends AppCompatActivity {
    EditText username_et;
    EditText password_et;
    TextView message_tv;
    @Override
    protected void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);
        setContentView(R.layout.activity_main);
        password_et = (EditText) this.findViewById(R.id.editText2);
        username_et = (EditText) this.findViewById(R.id.editText);
        message_tv = ((TextView) findViewById(R.id.textView));
        this.findViewById(R.id.button).setOnClickListener(new View.OnClickListener() {
            @Override
            public void onClick(View v) {
                if (username_et.getText().toString().compareTo("admin") == 0) {
                    message_tv.setText("You cannot login as admin");
                    return;
                }
                //hook target
                message_tv.setText("Sending to the server :" + Base64.encodeToString((username_et.getText().toString() + ":" + password_et.getText().toString()).getBytes(), Base64.DEFAULT));
            }
        });
    }
}

最终跑起来以后，效果就是这样。

咱们的目标就是在kali主机上“获得”输入框输入的内容，而且修改其输入的内容，而且“传输”给安卓机器，使其经过验证。也就是说，咱们哪怕输入admin的帐户和密码，也能够绕过本地校验，进行登录的操做。
因此最终安卓端的js代码的逻辑就是，截取输入，传输给kali主机，暂停执行，获得kali主机传回的数据以后，继续执行。造成代码以下：

Java.perform(function () {
    var tv_class = Java.use("android.widget.TextView");
    tv_class.setText.overload("java.lang.CharSequence").implementation = function (x) {
        var string_to_send = x.toString();
        var string_to_recv;
        send(string_to_send); // 将数据发送给kali主机的python代码
        recv(function (received_json_object) {
            string_to_recv = received_json_object.my_data
            console.log("string_to_recv: " + string_to_recv);
        }).wait(); //收到数据以后，再执行下去
        return this.setText(string_to_recv);
    }
});

kali主机端的流程就是，将接受到的JSON数据解析，提取出其中的密码部分，而后将用户名替换成admin，这样就实现了将admin和pw发送给“服务器”的结果。

import time
import frida
def my_message_handler(message, payload):
    print message
    print payload
    if message["type"] == "send":
        print message["payload"]
        data = message["payload"].split(":")[1].strip()
        print 'message:', message
        data = data.decode("base64")
        user, pw = data.split(":")
        data = ("admin" + ":" + pw).encode("base64")
        print "encoded data:", data
        script.post({"my_data": data})  # 将JSON对象发送回去
        print "Modified data sent"
device = frida.get_usb_device()
pid = device.spawn(["com.roysue.demo04"])
device.resume(pid)
time.sleep(1)
session = device.attach(pid)
with open("s4.js") as f:
    script = session.create_script(f.read())
script.on("message", my_message_handler)  # 注册消息处理函数
script.load()
raw_input()

咱们只要输入任意用户名(非admin)+密码，非admin的用户名能够绕过compareTo校验，而后frida会帮助咱们将用户名改为admin，最终就是admin:pw的组合发送到服务器。

$ python loader4.py
Script loaded successfully
{u'type': u'send', u'payload': u'Sending to the server :YWFhYTpiYmJi\n'}
None
Sending to the server :YWFhYTpiYmJi
message: {u'type': u'send', u'payload': u'Sending to the server :YWFhYTpiYmJi\n'}
data: aaaa:bbbb
pw: bbbb
encoded data: YWRtaW46YmJiYg==
Modified data sent
string_to_recv: YWRtaW46YmJiYg==

动态修改输入内容就这样实现了。

短视频、直播数据实时采集接口，请查看文档： TiToData

免责声明：本文档仅供学习与参考，请勿用于非法用途！不然一切后果自负。