Python爬虫100例》复盘⑦,解决手机APP爬虫环境问题

网友投稿 678 2022-05-28

文章目录

案例 41:Fiddler+夜神模拟器

案例 42:爬取儿歌多多APP数据

案例 43:百思不得姐APP数据

案例 44:Charles安装与使用

案例 45:Charles抓取兔儿故事

案例 46:Charles抓取手机收音机

案例 47:mitmproxy安装与模拟器

案例 48:使用mitmdump抓取手机惠农APP

案例 49:Appium安装+操作51JOB_APP

今日复盘结论

时间

案例 41:Fiddler+夜神模拟器

这篇案例主要学习的其实是 Fiddler + 夜神模拟器的环境配置,因为多数情况下捕捉到手机APP的接口,就已经解决了爬虫的最大问题。

案例中使用的 fiddler 是 4.0 版本,整体的安装流程复盘了一下,无大问题。

学习过程中重点注意的是[证书的安装],包括电脑证书,手机端证书。

这里也发现了一个评论,询问手机端证书问题,如果发现证书直接点击无法安装,请在手机端设置->安全 里面找到从 SD卡安装证书,导入即可。

夜神模拟器就是一款普通软件,按照正常流程安装即可。

建议下载历史版本:https://support.yeshen.com/zh-CN/win-release/6612,最新版本使用的是安卓7.0,可能会碰到一些比较难的点。

案例 42:爬取儿歌多多APP数据

这篇案例重点学习 Fiddler 与模拟器的配合,过程中捕获的接口,测试之后,发现可以使用。

http://bb.ergeduoduo.com/baby/bb.php?type=getvideos&collectid=29&interver=8&page=1&pagesize=30&grade=-1_-1&user=866174010820641&prod=childstory_ar_4.0.5.0&corp=duoduo&source=childstory_ar_4.0.5.0_m360&srcver=story&ver=1&imei=866174010820641&protect=1

1

案例 43:百思不得姐APP数据

好家伙,这个APP没有了,建议大家切换一个段子类的APP,就可以继续学习啦,流程是一致的。

建议:段子大全,糗事段子手,内涵段子,每日经典段子……

案例 44:Charles安装与使用

本篇博客与案例41一致,使用的是另一款抓包软件 Charles,学习难度不大,安装之后,可以配合夜神模拟器获取到数据即可。

案例 45:Charles抓取兔儿故事

依旧是APP不存在了,好多APP竟然还没有我们的课程【存在】的时间长,这里将 《兔儿故事》这款APP,切换为任意“儿童故事类APP”,即可实现一样的逻辑。

例如:幼儿园歌谣大全,宝宝催眠曲,宝宝学唱儿歌……

案例 46:Charles抓取手机收音机

本案例无问题,在博客中曾提及了 “荔枝APP”,可以去操作一把。

接口依旧可用:https://rapi.qingting.fm/categories/442/channels?&page=1&pagesize=30。

案例 47:mitmproxy安装与模拟器

本案例主要介绍的是爬虫辅助工具 mitmproxy,你将其理解为网页版的 Fiddler 就行,使用方式也十分类似。

原博客写作的时间始2019年1月,现在已经是2021年11月了,重点注意博客中的最后一张图片。

如果信仰有颜色,那一定是中国红!

案例 48:使用mitmdump抓取手机惠农APP

接口可用,案例无问题,《手机惠农》APP,好样的。

案例 49:Appium安装+操作51JOB_APP

这篇博客的重点是 Appium 的安装,在原版博客中使用的是 Appium-DeskTop 1.10 版本,如今你在打开其最新版本,已经变为了 v1.22.0,而且 Appium Inspector 也被分离了出去,关于 Appium 的安装教程,我将在新版《Python爬虫120例》中进行专门展示,如果你已经订阅 《Python爬虫100例》,可以联系我获得单独的PDF文件。

今日复盘结论

今天复盘了 9 个案例,本部分博客,内容主要围绕手机APP抓包,所以在学习的时候,重点在抓包工具的采集与与安装上,各种APP,你可以去任意安卓商店下载、测试。

时间

本期博客过 400,立刻更新下一篇

今天是持续写作的第

260

/ 200 天。

可以

关注

我,

我、

评论

我、

我啦。

《Python爬虫100例》复盘⑦,解决手机APP爬虫环境问题

更多精彩

Python 爬虫 100 例教程导航帖(抓紧订阅啦)

Python 移动APP

版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。

上一篇:Linux运维跳槽40道面试精华题
下一篇:【WAIC2021】一文Get华为云人工智能高峰论坛精华
相关文章