前言

到这里，python爬虫部分的复习也就告一段落了，当然，除了scrapy，老实说，对于平常爬取几千条这种小打小闹的爬虫，并没有去深入研究scrapy的必要（当然，了解还是要了解一下的）。

之前学习爬虫，因为需求的原因，只学习了网页爬虫。趁着寒假有空，再来看一看app爬虫是啥样的吧。

mitmproxy

安装

安装本体

brew install mitmproxy

安装python包

pip install mitproxy

安装证书
1. shell中输入mitmdump
2. 将/Users/{用户名}/.matplotlib/目录下的mitmproxy-ca-cert.pem发送到移动端(隔空投送即可)
3. 在设置中信任证书

ps.使用 shift+cmd+. 可以查看隐藏文件

连接代理
1. 使用ifconfig查找本机的ip地址
2. 找到inet，如下图所示，IP地址为192.168.3.6

在设置->无线局域网->无线局域网配置->配置代理

ps. mitmproxy的端口是8080

配置部分就到这里，然后测试一下配置是否正确。

在命令行中输入 mitmproxy ，进入mitmproxy的数据流界面。
打开任意的app，然后发现数据流界面开始跳出很多的响应字段，ok，配置正确。

上图为结果展示，可以点击字段进入查看详细的信息

ps. 这里列一下流界面的快捷键

?:帮助
q:返回或退出
z:清屏
j:上一个或向上滑动
k:下一个或向下滑动
回车键：查看选中的请求
h:查看请求内容下一个
l:查看请求内容上一个
tab：查看请求内容下一个

至此，所有的准备工作就都已经完成了，接下来选择一下实验目标吧

mission start

首先当然是选择一个目标app，这里我选择的是 超星学习通 。这个寒假学校布置了一个读书笔记的任务，叫做21天习惯养成，满满的 形式主义 的感觉，所以，我就把所有的数据都用爬虫爬下来，来分析一下这个21天习惯养成的可行性吧。

mitmproxy只能抓包，但是抓完之后就罢工了。所以这里使用mitmdump，它可以和python结合使用，对返回的数据进行一个处理。

def response(flow):
    url = 'https://groupyd.chaoxing.com/apis/topic/getTopicListWithPoff?'
    
    if flow.request.url.startswith(url):
        data_list = json.loads(flow.response.text)['data']['list']
        print(data_list)
        json_str = json.dumps(data_list,ensure_ascii=False)
        with open('data.json','a+') as f:
            f.write(json_str)