美团外卖商家和评论爬虫

背景

店内需要一个工具,统计全国新商家店铺信息,用来推广餐具包装袋等
在GitHub上找到一份两年前的示例程序
其中饿了么功能可以正常使用,其API尚未更新,并且与另一份API文档基本一致
而美团的API已经无法使用,网上也没有现成的参考。需要尝试自己搞定。
思路是抓包分析得到API。

工具

charles抓包工具: 用于抓取API数据包,代理方式,格式清晰,支持加密SSL(需手动安装证书,否则浏览器会报证书不匹配),HTTP抓取很好用,也可以获得一些网页和js
wireshark: (可选),只能抓取未加密的HTTP,且格式需要自己解析
chrome: 调试工具,用于调试和理解网页上的js代码,与线下程序比对,也可以下载网页和代码
chrome插件cookies.txt: (可选),用于将chrome当前页面的cookies导出到txt,可以在程序里读进去,假装chrome进行POST请求,以研究哪些cookies是必须的
nodejs: 主要的实现环境

方法

本人采用的是使用登陆后的cookie直接访问的目标接口,通过代理,各种模拟时间戳,经纬度,终于拿到了自己需要的数据。
附张图
在这里插入图片描述

在这里插入图片描述
评论、商家信息、店铺信息都可以获取到。
需要的可以联系v: 17610352720(不免费)

猜你喜欢

转载自blog.csdn.net/qq_37275405/article/details/100081566