【月更16篇】mitmproxy与安卓模拟器搭配,助力Python爬虫工程师,然后就可以爬CSDN粉丝数据了

网友投稿 1481 2022-05-30

本篇博客为大家介绍 mitmproxy,该工具与 Charles 和 Fiddler 实现的功能类似,都可以辅助我们分析接口。

【月更16篇】mitmproxy与安卓模拟器搭配,助力Python爬虫工程师,然后就可以爬CSDN粉丝数据了

mitmproxy 工具安装

mitmproxy 是一个免费且开源的交互式 HTTPS 代理,在爬虫领域一般将其用作手机模拟器,无头浏览器,可以用它作为代理去拦截爬虫获取到的数据。

mitmproxy 可以与 fiddler 工具一样,安装一个客户端进行操作,地址如下:

官网地址:https://mitmproxy.org/

6.0版本-:https://mitmproxy.org/downloads/#6.0.2/

需要特殊的手段进行访问,国内已经将其地址屏蔽。

下载的最新 Windows Installer 版本即可(由于我电脑使用的是 Windows7 操作系统,顾下载 6.0 版本),其文档说明也非常清楚:https://docs.mitmproxy.org/stable/

安装完毕,会自动运行控制台,启动 mitmproxy ui 。

通过浏览器访问上述地址,得到如下界面。

如果出现如下异常 缺少 api-ms-win-core-path-l1-1-0.dll ,打开下述链接下载 dll 组件即可。

https://download.csdn.net/download/hihell/38146147

接下来设置一下浏览器代理,是数据通过监听端口,按照如下步骤操作即可。

除此之外,为了捕获 HTTPS 协议的请求,还需要安装证书,在浏览器打开 http://mitm.it/ 下载 Windows 证书即可,下图就是抓取成功时候的样子。

证书也可以在目录 C:\Users\Administrator\.mitmproxy 查找,Windows 下选择 mitmproxy-ca-cert.p12。

关闭浏览器和控制台之后,再次启动只需要在控制台输入 mitmweb 即可实现,还有一种启动方式,使用 mitmdump ,实现效果如下所示,该形式与 mitmweb 的差异是展示载体不一致,即一个是在网页端,一个是在控制台。

mitmproxy 配合安卓模拟器

有了前文的铺垫,在加上以前对 fiddler 和 Charles 的学习,mitmproxy 和模拟器连接操作就非常容易了。

配置模拟器的 Wlan 代理,指向电脑 IP,同时端口为 8080。

将证书 mitmproxy-ca-cert.cer 或者 mitmproxy-ca-cert.pem 拖拽到模拟器中,然后安装证书(如无法双击安装,通过【设置】->【安全】安装即可),完成以上操作之后,只需要通过模拟器访问百度,查看是否捕捉到数据请求即可。

仅使用如上功能是远远不够的,我们看中的是 mitmproxy 可以实现脚本二次开发,所以下面在 python 环境中安装 mitmproxy 库,实现其扩展功能。

在 python 环境下配置 mitmproxy

使用 pip install mitmproxy 即可实现该库的安装,mitmproxy 要求 python 最低版本是 python3.8,所以安装前需要确定你的 Python 版本是否满足要求(实测 Python3.7 也安装成功了)。

安装过程中,发现 pyperclip 无法安装成功,解决办法是下载其 tar.gz 文件,解压之后,使用 python setup.py install 进行本地安装。

mitmproxy 包含的模块比较多,其中任意模块失败,都无法安装成功。

Successfully installed Brotli-1.0.9 Jinja2-2.11.3 MarkupSafe-2.0.1 Werkzeug-1.0.1 asgiref-3.3.4 certifi-2021.10.8 cffi-1.15.0 click-7.1.2 0 hpack-4.0.0 hyperframe-6.0.1 itsdangerous-1.1.0 ldap3-2.8.1 mitmproxy-5.3.0 msgpack-1.0.2 passlib-1.7.4 protobuf-3.13.0 publicsuffix2-2 2.21 pydivert-2.1.0 pyparsing-2.4.7 ruamel.yaml-0.16.13 ruamel.yaml.clib-0.2.6 six-1.16.0 sortedcontainers-2.2.2 tornado-6.1 typing-exten

mitmproxy 官方提供了非常多参考案例

例子查看网址:https://docs.mitmproxy.org/stable/addons-examples/

你学习的第一个案例,就是修改 requests 请求,创建一个名称为 script.py 的文件,编写如下代码:

import mitmproxy.http def request(flow: mitmproxy.http.HTTPFlow): flow.request.headers['User-Agent'] = 'MitmProxy' print(flow.request.headers)

在控制台使用 mitmdump -s script.py 启动文件,并开启浏览器代理,访问 http://httpbin.org/get,此时就会发现用户代理已经被我们成功修改。

还可以将多个方法合并在一个类中,然后再通过 addons 变量进行绑定,例如官方提供的案例。

from mitmproxy import ctx class Counter: def __init__(self): self.num = 0 def request(self, flow): self.num = self.num + 1 ctx.log.info("We've seen %d flows" % self.num) addons = [ Counter() ]

在命令行重启 mitmproxy,刷新浏览器获取如下内容。

这里还需要了解的就是为了实现 mitmproxy 与 python 之间的交互,有一些固定名称的函数需要记忆一下。

def http_connect(self, flow: mitmproxy.http.HTTPFlow):与服务器建立连接;

def requestheaders(self, flow: mitmproxy.http.HTTPFlow):客户端的 HTTP 请求的头部被成功读取,请求 body 没有读取;

def request(self, flow: mitmproxy.http.HTTPFlow):客户端的 HTTP 请求被成功完整读取;

def responseheaders(self, flow: mitmproxy.http.HTTPFlow):服务器返回的响应头被读取,响应 body 还没有返回;

def response(self, flow: mitmproxy.http.HTTPFlow):响应完整返回;

def error(self, flow: mitmproxy.http.HTTPFlow):异常状态。

这里对具体细节的 API 不做过多的说明,都可以从手册查阅出来,官方手册:https://docs.mitmproxy.org/stable/api/events.html

案例时间

本次实现的爬虫案例是,访问 CSDN 任意博主的粉丝列表,在控制台打印出粉丝数据(隐私问题,没有存储)。

那官方博客测试,发现接口如下:

https://blog.csdn.net/community/home-api/v1/get-fans-list?page=4&size=20&noMore=false&blogUsername=blogdevteam

请求方式为 get ,请求地址为 https://blog.csdn.net/community/home-api/v1/get-fans-list,修改 script.py 文件代码如下:

from mitmproxy import ctx import json def response(flow): start_url = "https://blog.csdn.net/community/home-api/v1/get-fans-list" response = flow.response if flow.request.url.startswith(start_url): text = response.text data = json.loads(text) print(data)

或者使用如下代码,也可以实现相同的效果。

import json class GetFans(object): def response(self, flow): start_url = "https://blog.csdn.net/community/home-api/v1/get-fans-list" response = flow.response if flow.request.url.startswith(start_url): text = response.text data = json.loads(text) print(data) addons = [ GetFans() ]

这时候,如果我们能实现自动化下拉页面,是不是就能实现一个自动化的爬虫了呢???

订阅时间

今天是持续写作的第

267

/ 365 天。

可以

关注

我,

我、

评论

我、

我啦。

HTTP https Python

版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。

上一篇:【愚公系列】2022年01月 Docker容器 Dockerfile详解
下一篇:【Flutter 专题】06 图解基础【登录】页面并学习相关 Widget
相关文章