网页数据采集系统(美团)

QQ/微信 112908676

2019.04.29 版本2.3.6 https://www.lanzous.com/i3ydrah


下载过程中弹出输入密码框,请选择取消,不影响使用

支持Windows XP/Vista/7/8/10

需求

  1. 美团获取外卖和团购商户的基本信息,比如商户名称、地址以及联系电话
  2. 将搜索的结果导出至Excel表中,无需用户手动翻页,软件自动将所有搜索结果导出
  3. 导出成功后,弹窗并播放提示音
  4. 试用版跟正式版的唯一区别:导出结果的电话号码以*替换部分数字
  5. 可以定制写入数据库

更新

2019.03.01(2.3.4)

(美团部分无更新)

2019.01.27

新增手机号过滤功能(测试阶段)

2018.11.04

修改了美团选择按区显示结果时软件自动运行的问题

2018.09.28

修改了美团无法开始采集的问题

2018.08.15

修改了美团采集的电话分隔符和使用说明

2018.08.01

美团可以自定义采集数据项,比如经纬度

所有已列出数据均可采集,解决旧版无法100%采集的问题

2018.05.15

修改了淘宝买家订单采集时,可能出现部分数据采集不到的问题

2018.05.13

修改了淘宝买入采集时,可能出现的程序崩溃问题

2018.05.06

修改了高德地图搜索的精准度问题

增加了美团外卖的采集功能

美团和淘宝采集过程中可以停止采集

2018.04.28 淘宝订单

修改了订单采集有时候造成程序崩溃的问题

增加了采集的灵活配置,买家订单或卖家订单,数据项

增加了MySQL/PostgreSQL同步功能

2018.03.22 淘宝订单

修改了订单采集有时候造成程序崩溃的问题

2018.03.08 淘宝订单

修改了有些情况采集造成程序崩溃的问题

支持买家订单卖家订单

如果当前不在订单页面,提示选择

2018.02.17

修改了美团采集过程中可能出现的软件崩溃

2018.02.03

修改了美团不能采集美食类信息的问题

2017.12.22

修改了美团采集部分数据就停止的问题

2017.11.11

根据新版美团页面,从团购结果中提取商家信息,简化了用户操作

新版只需两步:1. 输入关键词搜索; 2. 点击保存搜索结果

新版增加用户提示音,由于保存数量多,保存时间长,保存结束后会弹窗并播放提示音

如何使用

从上述链接处下载完整压缩包后,完全解压到webcrawl文件夹

双击webcrawl.exe即可,如有360杀毒提示有毒,属于误报,请放心使用

美团使用过程示例

打开美团,输入关键词后点击搜索放大镜

搜索到结果后,点击保存搜索结果至Excel

选择要采集的数据项后点击开始

输入好文件名

保存进行中

如果搜索结果较多保存时间会相应加长,比如有多页,正式版会自动保存多页的结果,用户无需手动翻页

选择打开已保存完毕的Excel文件

查看Execl文件

获取评论信息

示例

http://sh.meituan.com/ptapi/poi/getcomment?id=88586670&offset=0&pageSize=10&mode=0&sortType=1

API

/ptapi/poi/getcomment

参数

id=88586670
offset=0
pageSize=10
mode=0
sortType=1

美团外卖的滚动加载

其中uuid取自cookie中的w_uuid

var r = ["cate_all"],
        p = {
            classify_type: "",
            sort_type: 0,
            price_type: 0,
            support_online_pay: 0,
            support_invoice: 0,
            support_logistic: 0,
            page_offset: 21,
            page_size: 20
        },

 a, o = window.location.href,
	s = o.split("-");
a = 1 === s.length ? "cate_all" : s[1], r.length = 0, r.push(a), m.request(!1)

            request: function(t) {
                p.classify_type = r.join("|"), p.uuid = o.get("w_uuid"), p.platform = 1, p.partner = 4, p.originUrl = encodeURIComponent(window.location.href);
                var e = "",
                    a = 0;
                for (var n in p) e += (0 == a ? "" : "&") + n + "=" + p[n], a++;
                var u = Rohr_Opt.reload("http://waimai.meituan.com/ajax/poilist?" + e);
                i.ajax({
                    url: "/ajax/poilist?_token=" + u,
                    type: "POST",
                    dataType: "json",
                    data: p
                }).done(function(e) {

如果是分类获取

url:http://waimai.meituan.com/home/wx4g14vq1wtc-910

_token=eJyV0luPmkAUB/DvMq9SYYbb4BtWVxFkvbKrzT4oIsNV5OrS9Lt3wFaajS8lJPw48x/O5ISfINVOYAA5eskMKJ0UDADsc30RMCDP6IqIeCTxPKdIssAA+9+azEkKZsAxtUZg8AMizDE8FD+ayooW7hUZcR/MnRKmRAK9m4xGI4DkeTJg2ergRQevHzleXhzivn2JWHKJHLa6CS4UyiuscvubAjl6qP/YAWibaNO0kUTEQBlKdP8fyi35pxQ6ik8pdZSfUnlQ4jrCjvwX4pZCR/ELlZZSR/kpMSXiWioPylxH+JTNGRBsKXZsv4AaYngnHWjQDJQ+D4/BIl5mRprV5Djan8ftG43kf6Nz+lPR5cxzYypndjN9GxZurS6JicMhEsxopmtWqRMvHErrsZBs88ywCe+nc5VNTYeIr4HhhZvQLBemP9mFzm38PX8xRwE8Y/L2NlsqQ/fQq0Vie2xSBJdKJbtJtd0SCxp7RTfmn5fTuSpNryjVVTJbfCqaka7S9zwYr2olPg1TN4k9vA/Cd83DG94Nr1OSYXOox0UNg/XU1Fk/F8qXorbq/XbK+ZnpbtWeNjnJmZ7edklC/Oko4m+xS0Lr2NNdGJr+9hzXx9DxFiJLNvFeLGPpmPm5hWz19WoneErGXmykBj4fewaRlEJZntQRWm/Ar9/7p/RH

classify_type=910&sort_type=0&price_type=0&support_online_pay=0&support_invoice=0&support_logistic=0&page_offset=21&page_size=20&uuid=Z0ir51E6iTUgi8r_UpwAC8rpMdubES3zXm8kME6qoqre8G2sriutSku12HGCuLYk&platform=1&partner=4&originUrl=http%253A%252F%252Fwaimai.meituan.com%252Fhome%252Fwx4g14vq1wtc-910

time lapse photo deflickering

发布了34 篇原创文章 · 获赞 43 · 访问量 19万+

猜你喜欢

转载自blog.csdn.net/tiplip/article/details/51144663