「docker实战篇」python的docker爬虫技术-在linux下mitmproxy介绍和安装（四）

原创文章，欢迎转载。转载请注明：转载自 IT人故事会，谢谢！ 原文连接地址： 「docker实战篇」python的docker爬虫技术-在linux下mitmproxy介绍和安装（四）

上次说了fiddler的抓包和参数介绍，经过fiddler抓包工具能够完成app和web端的数据，此次介绍另外一款抓包公司mitmproxy，能够和python语言结合经过爬虫抓取数据。 源码： github.com/limingios/n…

mitmproxy

• 官方

www.mitmproxy.org/

• 介绍

mitmproxy is a free and open source interactive HTTPS proxy.

mitmproxy 就是用于MITM的proxy 中间人攻击（Man-in-the-MiddleAttack，简称“MITM攻击”）是一种“间接”的入侵攻击，这种攻击模式是经过各类技术手段将受入侵者控制的一台计算机虚拟放置在网络链接中的两台通讯计算机之间，这台计算机就称为“中间人”。

1. 正常的代理同样转发请求，保证服务端和客户端的通讯
2. 拦截请求，修改请求，拦截返回，修改返回
3. 能够载入自定义的mitmproxy
4. fiddler只能拦截请求，修改请求，篡改数据，可是不能载入自定义的mitmproxy
5. 随着安全的要求，如今愈来愈多的网站使用https请求，特别是ios客户端要求必须服务端使用https，因此必须让客户端和服务端都信任中间人
6. 请用：mitmproxy 作测试使用，请勿使用灰产哦！

安装

• 环境安装

感受windows 太麻烦了，仍是建议使用linux

1. 基于pyhon
2. windows操做系统须要安装Microsoft Visual C++ V14.0以上
3. linux操做系统直接安装pyhon就能够了。

windows 安装

这里不作介绍了，真心没有linux好！

linux 安装

经过vagrant的方式安装虚拟机

系统类型IP地址用户CPUMemoryHostnameCentos7192.168.77.100root24Gmitmproxy

• 三台机器mac开通远程登陆root用户下

#设置 PasswordAuthentication yes
vi /etc/ssh/sshd_config
sudo systemctl restart sshd复制代码

• 修改dns

# 修改配置文件
vi /etc/resolv.conf
# 修改为：
nameserver 8.8.8.8
search localdomain复制代码

• 修改网络

service network restart复制代码

• 安装wget和pip3

yum -y install wget
wget --no-check-certificate  https://pypi.python.org/packages/source/p/pip/pip-8.0.2.tar.gz#md5=3a73c4188f8dbad6a1e6f6d44d117eeb
tar -zxvf pip-8.0.2.tar.gz
cd pip-8.0.2
python3.6 setup.py build
python3.6 setup.py install复制代码

安装mitmproxy

• 安装mitmproxy

#安装python3.6的devel
yum install python36-devel
yum install gcc libffi-devel openssl-devel -y     
# 升级pip3
pip3 install --upgrade pip
# 安装 mitmproxy
pip3 install mitmproxy复制代码

• 查看mitmproxy的版本

mitmproxy --version
mitmdump --version
mitmweb --version复制代码

mitmproxy的使用

• mitmproxy

安装好了mitmproxy 直接查看，直接输入mitmproxy，默认端口是8080,

mitmproxy复制代码

打开google浏览器的插件switchyOmega

访问baidu提示，须要安装证书哦看来

如何安装mitmproxy的证书，浏览器输入mitm.it，根据本身的操做系统选择要安装的地址：mac，windows，android，other

演示windows下安装证书

双击证书

不用输入密码

讲全部的证书都放入下列存储

浏览器关闭从新打开

• 已经能够打开了

查看mitm的界面

• 列表界面

• 键盘选择

点击键盘回车，进入

进入后，里面分为request，repsonse，detail

退出esc，而后输入q 返回列表

进入列表后，输入f键

查看mitmproxy的三大组件

• mitmproxy

上边介绍了 不在详细说了。

• mitmdump

#记录的请求都放入指定的文件夹下
mitmdump -w 文件路径复制代码

• mitmweb

这个windows查看比较方便。访问http://127.0.0.1:8081

mitmweb复制代码

PS：更多mitmproxy后续强大的功能，在后续的实践中，我们一块儿详解吧。实现出真知。