网络爬虫-神器fiddler抓取app数据

才接触爬虫的时候,我们通常使用的是浏览器的开发者工具-F12里的NetWork对网页进行抓包,但是这有一个缺点,就是如果网页加载了很多乱七八糟的东西,比如广告啊,各种各样的js之类的时候,NewWork就显得有点吃力了,我们就需要使用更强大的工具来进行抓包,我个人比较喜欢使用Fiddler,毕竟免费的好用,另外有喜欢的朋友也可以使用Charles,它只能免费使用一段时间。
这里贴出下载地址:
fiddler官网下载
charles官网下载

这里对fiddler进行测试。
安装好之后,我们打开fiddler,然后打开浏览器,就可以看到,现在fiddler代替了我们的开发者工具,对http请求进行了抓取,这时候我们还需要进行一些设置,让它可以抓取https请求。

在这里插入图片描述

注意

如果是要对app进行抓包,请将 from browser only 改为 from all processes.

下面是对app抓包的配置。
在这里插入图片描述
在这里插入图片描述

下面就需要使用真机,或者模拟器了,这里推荐一款模拟器,逍遥安卓模拟器。
传送门 --> 逍遥安卓模拟器官网

下载好之后打开如下图。
在这里插入图片描述

这时候需要对模拟器进行配置,真机也是同样步骤~!
在这里插入图片描述

代理服务器主机名可以打开cmd输入ipconfig进行查看,代理服务器端口号是根据你的fiddler的代理端口号对应的。完成这一项步骤后点击保存即可。

但是现在还无法对手机app进行抓包,需要安装证书,这时候打开手机自带的浏览器,在地址栏输入你的代理服务器名+端口号 ,如下图
在这里插入图片描述

点击 FiddlerRoot certificate 下载安装证书即可。

大功告成

现在我们就可以对app进行抓包操作了,以酷航app为例:

在这里插入图片描述

可以看到 我们已经将酷航app的查询请求抓取下来了,可以对它进行重发以及各种花里胡哨的操作了~

但是如果还需要进一步的了解的话,比如酷航app会产生一个wtoken参数,这个就例如网页中的js加密一般,是在apk底层生成的,需要我们去捕获进行模拟生成,因为这个会在服务器上进行验证,网页端的js加密token也是如出一辙,这就需要涉及到安卓的逆向工程以及反编译了,有兴趣的童鞋也可以去了解一下,需要一定的java基础哦!

有需要帮助的童鞋可以进行留言一起探讨,一起学习进步 ~!

猜你喜欢

转载自blog.csdn.net/qq_39802740/article/details/82910278