一、个人理解

对于爬虫而言，个人的理解是：给定一个起始网址，连接下载html页面，然后依据一定规则，读取所需信息进行处理操作即可。

二、基础知识

对基于Chrome内核的浏览器来说，按F12打开控制台，切换到Network标签，刷新当前页面，就可以看到网络连接信息，找到对应页面点开即可看到请求头：

在headers中框起来的都是访问页面中最重要的参数：

cookies 提供一堆键值对，以保证能够让服务器唯一识别当前用户
User-Agent 提供当前访问服务器的设备的标志，可以让页面进行相应的适配
部分页面还可能传递一些参数，也是访问连接所必须的数据

只要提供正确的请求头即可模拟访问对应连接！

对于其他的浏览器，个人喜好直接忽略。

三、使用requests模块下载网址

import requests

url = "https://post.smzdm.com/p/590838/"

# 将cookies字符串组装为字典
cookies_str = '复制粘贴对应网站cookies'
cookies_dict = {}
for cookie in cookies_str.split(";"):
    k, v = cookie.split("=", 1)
    cookies_dict[k.strip()] = v.strip()

# 其他请求头参数
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0'
}

# 访问页面
page = requests.get(url=url, cookies=cookies_dict, headers=headers)

# 打印页面HTML
print(page.text)

这样即可获取当前页面的html文本了，接下来对html页面进行处理即可

四、使用xpath获取对应节点

该标题xpath路径为：“/html/body/section/div/div[2]/article/h1”

from lxml import html
document = html.fromstring(page.text)
# 使用xpath获取到的是一个匹配数组
title = document.xpath("/html/body/section/div/div[2]/article/h1")
# 使用string(.)可以获得当前节点的内容
title_str = title[0].xpath("string(.)")  #title[0].text_content()
print(title_str)

再添加以上代码既可以打印出文章标题名称。

分析页面dom文件，可以发现该标题包含一个class属性，既可以将xpath路径改为以下：

//*[@class="item-name"]

“/”一个斜杠开头，就像Linux中的目录路径一样，必须严格从<html>开始一步一步到达指定dom节点；

“//”两个斜杠开头，代表可以匹配任意路径；

“*”则代表任意dom节点，中括号内部则可以指定规则；

具体xpath使用方法还有很多，必须要全面掌握。

五、抓取美团数据

拥有了以上技术，多分析页面内容

抓取美团数据也就手到擒来了：

url：http://bj.meituan.com/meishi/

以下为美食第一页的所有店家数据：

{'poiId': 1653468, 'frontImg': 'http://p0.meituan.net/600.600/mogu/7f102559bd246c78d7f2d2ab066a12d0139144.jpg', 'title': '火宴山（大悦城店）', 'avgScore': 4.9, 'allCommentNum': 43409, 'address': '朝阳区朝阳北路107号院58号楼二层部分', 'avgPrice': 67, 'dealList': [{'title': '自助午餐', 'price': 83, 'soldCounts': 226995}, {'title': '自助晚餐', 'price': 103, 'soldCounts': 226696}, {'title': '夜宵自助餐', 'price': 73, 'soldCounts': 10905}]}
{'poiId': 40714079, 'frontImg': 'https://img.meituan.net/600.600/msmerchant/39401de1a941ccf83c172d600c730e6b4119977.jpg', 'title': '时代风帆海鲜自助餐厅（角门西店）', 'avgScore': 4.1, 'allCommentNum': 4864, 'address': '丰台区马家堡西路15号时代风帆大厦北侧商用楼3层（地铁四号或十号线角门西站 A口出即到）', 'avgPrice': 191, 'dealList': [{'title': '午/晚餐单人券', 'price': 215, 'soldCounts': 37460}, {'title': '周一至周五午餐券', 'price': 168, 'soldCounts': 2101}]}
{'poiId': 42081214, 'frontImg': 'https://img.meituan.net/600.600/msmerchant/42cf12a9a9946ac036229c3b595d6ae6890414.jpg', 'title': '韩时烤肉（枫蓝国际购物中心店）', 'avgScore': 5, 'allCommentNum': 3901, 'address': '海淀区西直门北大街32号枫蓝国际购物中心2层', 'avgPrice': 69, 'dealList': [{'title': '精选2-3人套餐', 'price': 175, 'soldCounts': 162592}, {'title': '100元代金券1张，全场通用', 'price': 92, 'soldCounts': 75740}, {'title': '精选5-6人套餐', 'price': 359, 'soldCounts': 13600}]}
{'poiId': 1467844, 'frontImg': 'https://img.meituan.net/600.600/msmerchant/3ff5b78217da04bd79839e2b9a19ca02683868.jpg', 'title': '福口居（北太平庄店）', 'avgScore': 5, 'allCommentNum': 7483, 'address': '海淀区北太平庄北三环中路40号（近国美）', 'avgPrice': 63, 'dealList': [{'title': '100元代金券1张，可叠加使用，非特价菜品通用', 'price': 90, 'soldCounts': 191225}, {'title': '福口居四人套餐，提供免费WiFi', 'price': 228, 'soldCounts': 1130}, {'title': '福口居双人套餐，提供免费WiFi', 'price': 108, 'soldCounts': 2014}, {'title': '福口居十人套餐，包间免费', 'price': 698, 'soldCounts': 17}, {'title': '100元代金券1张，可叠加', 'price': 90, 'soldCounts': 3098}]}
{'poiId': 36235, 'frontImg': 'http://p1.meituan.net/600.600/apiback/c3b2770e7eecb6f2949c5a9c3b9f57bc1156913.jpg', 'title': '东来顺饭庄（中关村海淀大街店）', 'avgScore': 5, 'allCommentNum': 12088, 'address': '海淀区中关村海淀大街34号海置创投大厦', 'avgPrice': 95, 'dealList': [{'title': '4-5人套餐，无需预约，有饮料', 'price': 188, 'soldCounts': 28791}, {'title': '4-5人套餐，节假日通用，中关村店/朝阳双井店通用', 'price': 209, 'soldCounts': 21549}, {'title': '100元代金券1张，可叠加', 'price': 85, 'soldCounts': 774}, {'title': '东来顺4-5人套餐', 'price': 188, 'soldCounts': 50717}, {'title': '100元代金券1张，可叠加', 'price': 79, 'soldCounts': 26837}]}
{'poiId': 4374627, 'frontImg': 'https://img.meituan.net/600.600/msmerchant/de356c38445806d9f56350123e753962381812.jpg', 'title': '水木锦堂铁板烧·自助（五道口店）', 'avgScore': 4.2, 'allCommentNum': 2440, 'address': '海淀区成府路28号5道口购物中心3F（五道口购物中心3层）', 'avgPrice': 199, 'dealList': [{'title': '铁板自助午餐/铁板自助晚餐2选1', 'price': 228, 'soldCounts': 33614}, {'title': '铁板自助午晚餐', 'price': 288, 'soldCounts': 19549}]}
{'poiId': 364661, 'frontImg': 'https://img.meituan.net/600.600/msmerchant/03f6abecb83158c4e4216732db0d0361134930.jpg', 'title': '京味斋烤鸭店（东大街店）', 'avgScore': 5, 'allCommentNum': 5651, 'address': '丰台区东大街20号（近解放军第307医院）', 'avgPrice': 64, 'dealList': [{'title': '100元代金券1张，可叠加', 'price': 95, 'soldCounts': 85621}, {'title': '300元代金券1张，可叠加', 'price': 285, 'soldCounts': 1859}, {'title': '400元代金券1张，可叠加', 'price': 380, 'soldCounts': 1000}, {'title': '牡丹烤鸭1只', 'price': 138, 'soldCounts': 2515}, {'title': '600元代金券1张，可叠加', 'price': 570, 'soldCounts': 788}, {'title': '500元代金券1张，可叠加', 'price': 475, 'soldCounts': 782}, {'title': '200元代金券1张，可叠加', 'price': 190, 'soldCounts': 4541}]}
{'poiId': 4456282, 'frontImg': 'https://img.meituan.net/600.600/msmerchant/b7970c6d106f1b457c460b84009de6b6294832.jpg', 'title': '鑫海汇海鲜自助烤肉（大红门店）', 'avgScore': 3.9, 'allCommentNum': 17335, 'address': '丰台区大红门街道南苑路5号（福海国际大厦9楼）', 'avgPrice': 61, 'dealList': [{'title': '海鲜自助烤肉单人/海鲜自助烤肉单人2选1', 'price': 70, 'soldCounts': 151570}, {'title': '特惠下午单人券', 'price': 50.9, 'soldCounts': 5890}, {'title': '工作日午餐单人券', 'price': 68.05, 'soldCounts': 1718}]}
{'poiId': 5923903, 'frontImg': 'http://p0.meituan.net/600.600/deal/__25083610__3807189.jpg', 'title': '汉丽轩海鲜火锅烤肉自助 （梨园店）', 'avgScore': 4.3, 'allCommentNum': 12273, 'address': '通州区梨园镇云景里（蓝岛大厦南300米）', 'avgPrice': 52, 'dealList': [{'title': '自助午餐', 'price': 58, 'soldCounts': 62475}, {'title': '自助晚餐', 'price': 68, 'soldCounts': 83484}]}
{'poiId': 4552774, 'frontImg': 'http://p0.meituan.net/600.600/deal/05609d46e01e0303d0ba81469144ac6f276405.jpg', 'title': '火炉火年糕火锅（五道口店）', 'avgScore': 4.3, 'allCommentNum': 5163, 'address': '海淀区五道口国际食尚苑1楼(康师傅私房牛肉面旁边步行街里面15米)', 'avgPrice': 55, 'dealList': [{'title': '年糕火锅双人套餐', 'price': 108, 'soldCounts': 22659}, {'title': '春川鸡排双人套餐', 'price': 108, 'soldCounts': 817}]}
{'poiId': 4502840, 'frontImg': 'http://p1.meituan.net/600.600/apiback/3dd268daa5c6477a4ff0b228ddd1ad4b18855.jpg', 'title': '好伦哥自助比萨（龙旗购物中心店）', 'avgScore': 4.5, 'allCommentNum': 8829, 'address': '昌平区黄平路19号院龙旗购物中心3楼', 'avgPrice': 52, 'dealList': [{'title': '单人自助', 'price': 52.9, 'soldCounts': 337720}]}
{'poiId': 267256, 'frontImg': 'http://p0.meituan.net/600.600/mogu/8a83b06c8f4b2e981a51461d995b431e39760.jpg', 'title': '好伦哥（劲松店）', 'avgScore': 4.1, 'allCommentNum': 9624, 'address': '朝阳区劲松南路9号（农业银行旁）', 'avgPrice': 52, 'dealList': [{'title': '单人自助餐', 'price': 56, 'soldCounts': 533691}]}
{'poiId': 263972, 'frontImg': 'http://p1.meituan.net/600.600/deal/__36496107__6244819.jpg', 'title': '好伦哥（永定路店）', 'avgScore': 4.4, 'allCommentNum': 9876, 'address': '海淀区复兴路甲36号百朗园东北角（永定路口）', 'avgPrice': 54, 'dealList': [{'title': '永定路店单人自助餐1人次', 'price': 65, 'soldCounts': 121210}]}
{'poiId': 4570815, 'frontImg': 'http://p0.meituan.net/600.600/merchantpic/d83b860b77b5a4fe5552af2f43d4a1a8144853.jpg', 'title': '纽约客美式餐厅（悦荟万科广场店）', 'avgScore': 5, 'allCommentNum': 8099, 'address': '昌平区南环路10号院1号楼悦荟万科广场2层', 'avgPrice': 95, 'dealList': [{'title': '美式风味双人套餐', 'price': 149, 'soldCounts': 22927}, {'title': '波士顿烧烤猪排 BBQ Pork Boston2份', 'price': 169, 'soldCounts': 5290}, {'title': '100元代金券1张，可叠加', 'price': 95, 'soldCounts': 8540}, {'title': '纽约客香辣鸡排（配黄油米饭）NewYorker Spicy Chicken1份', 'price': 69, 'soldCounts': 2046}, {'title': '活动美味双人套餐', 'price': 139, 'soldCounts': 227}]}
{'poiId': 346746, 'frontImg': 'https://img.meituan.net/600.600/msmerchant/2a8f3f628f17a35d85a613812d1f4b761661798.jpg', 'title': '小牛海记潮汕牛肉店（牡丹园店）', 'avgScore': 5, 'allCommentNum': 6458, 'address': '海淀区花园路中城写字楼2层', 'avgPrice': 92, 'dealList': [{'title': '100元代金券1张，可叠加', 'price': 95, 'soldCounts': 51593}, {'title': '超值双人套餐，提供免费WiFi', 'price': 120, 'soldCounts': 204}]}
{'poiId': 69788, 'frontImg': 'http://p1.meituan.net/600.600/mogu/1b5bc656682b9fe1d3392518571a6b2f41227.jpg', 'title': '山之川海鲜放题（亚运村店）', 'avgScore': 5, 'allCommentNum': 1922, 'address': '朝阳区亚运村大屯路慧忠里202号楼1楼（第五大道斜对面）', 'avgPrice': 162, 'dealList': [{'title': '298元自助餐', 'price': 279, 'soldCounts': 10702}, {'title': '100元代金券1张，可叠加', 'price': 90, 'soldCounts': 521}, {'title': '自助餐2位，提供免费WiFi', 'price': 558, 'soldCounts': 2381}, {'title': '自助餐3位，提供免费WiFi', 'price': 837, 'soldCounts': 835}]}
{'poiId': 40691929, 'frontImg': 'http://p0.meituan.net/600.600/deal/9bdd4e87a9d21b458cec134043d73356397267.jpg', 'title': '伊尔克啤酒烤肉自助（大兴店）', 'avgScore': 3.6, 'allCommentNum': 10800, 'address': '大兴区兴华大街百联清城购物中心三层', 'avgPrice': 59, 'dealList': [{'title': '伊尔克烤肉自助餐', 'price': 59, 'soldCounts': 140445}]}
{'poiId': 264962, 'frontImg': 'http://p1.meituan.net/600.600/shopmainpic/7130dbbb6a8678fa1cd08decfd492451327408.jpg', 'title': '金源福城肥牛火锅（远大路金源店）', 'avgScore': 5, 'allCommentNum': 11695, 'address': '海淀区远大路1号金源时代购物中心五层5-17号(公交站远大路东口站下)', 'avgPrice': 83, 'dealList': [{'title': '100元代金券1张，可叠加5张', 'price': 85, 'soldCounts': 35415}, {'title': '火锅8人餐，有赠品', 'price': 488, 'soldCounts': 188}, {'title': '火锅双人餐，有赠品', 'price': 128, 'soldCounts': 1836}, {'title': '火锅精品双人餐，有赠品', 'price': 198, 'soldCounts': 119}, {'title': '火锅4人餐，有赠品', 'price': 258, 'soldCounts': 661}, {'title': '火锅精品4人餐，有赠品', 'price': 368, 'soldCounts': 127}, {'title': '精品火锅8人餐，有赠品', 'price': 688, 'soldCounts': 190}]}
{'poiId': 6918038, 'frontImg': 'http://p0.meituan.net/600.600/deal/202c18bf7f3404311ca949c1844b3583134569.jpg', 'title': '东来顺（京通罗斯福广场店）', 'avgScore': 5, 'allCommentNum': 7421, 'address': '通州区北苑南路翠屏北里21号楼京通罗斯福广场F4层（九棵树地铁对面）', 'avgPrice': 53, 'dealList': [{'title': '双人套餐', 'price': 128, 'soldCounts': 18951}, {'title': '四人套餐，提供免费WiFi', 'price': 228, 'soldCounts': 7861}]}
{'poiId': 40515455, 'frontImg': 'http://p0.meituan.net/600.600/ugcpic/6dd68dcc75637af21d5554e509f583ce', 'title': '边境东南亚小吃（荟聚西红门店）', 'avgScore': 5, 'allCommentNum': 3014, 'address': '大兴区欣宁街15号荟聚购物中心3层', 'avgPrice': 67, 'dealList': [{'title': '100元代金券1张，可叠加', 'price': 89, 'soldCounts': 20617}]}
{'poiId': 2505561, 'frontImg': 'http://p1.meituan.net/600.600/deal/__22052386__6727561.jpg', 'title': '汉丽轩烤肉超市（凯德MALL店）', 'avgScore': 3, 'allCommentNum': 13991, 'address': '海淀区翠微路12号新华联商业大厦凯德MALL购物中心B1层', 'avgPrice': 50, 'dealList': [{'title': '午餐自助', 'price': 53, 'soldCounts': 54373}, {'title': '晚餐自助', 'price': 55, 'soldCounts': 40603}]}
{'poiId': 5766319, 'frontImg': 'http://p0.meituan.net/600.600/deal/ff8f8367cf15e4185b22d0c219563725128176.jpg', 'title': '好伦哥（密云燕赛奥特莱斯店）', 'avgScore': 4.6, 'allCommentNum': 6792, 'address': '密云区鼓楼大街3号燕赛奥特莱斯商场3层', 'avgPrice': 49, 'dealList': [{'title': '单人自助餐', 'price': 49, 'soldCounts': 69749}, {'title': '家庭温馨餐', 'price': 98, 'soldCounts': 35}]}
{'poiId': 273755, 'frontImg': 'http://p0.meituan.net/600.600/mogu/62e02d8f5be6e9531e7b56417dc3442570507.jpg', 'title': '东来顺饭庄（世纪金源购物中心店）', 'avgScore': 3.9, 'allCommentNum': 6054, 'address': '海淀区远大路1号世纪金源购物中心5楼', 'avgPrice': 118, 'dealList': [{'title': '双人餐，提供免费WiFi', 'price': 109, 'soldCounts': 24647}, {'title': '4人餐，提供免费WiFi', 'price': 199, 'soldCounts': 18423}]}
{'poiId': 1500269, 'frontImg': 'http://p0.meituan.net/600.600/mogu/62e02d8f5be6e9531e7b56417dc3442570507.jpg', 'title': '东来顺饭庄（五道口店）', 'avgScore': 4.5, 'allCommentNum': 15881, 'address': '海淀区成府路28号五道口购物中心5楼13号（近五道口地铁站）', 'avgPrice': 119, 'dealList': [{'title': '100元代金券1张，可叠加', 'price': 85, 'soldCounts': 42611}, {'title': '200元代金券1张', 'price': 170, 'soldCounts': 14646}, {'title': '东来顺畅享6人餐', 'price': 309, 'soldCounts': 660}, {'title': '4人餐，提供免费WiFi', 'price': 199, 'soldCounts': 13202}, {'title': '双人餐，提供免费WiFi', 'price': 109, 'soldCounts': 21329}]}
{'poiId': 290852, 'frontImg': 'http://p0.meituan.net/600.600/deal/__23534840__9029673.jpg', 'title': '好伦哥（天坛东门店）', 'avgScore': 4.1, 'allCommentNum': 10221, 'address': '东城区天坛东路天坛内东里1号', 'avgPrice': 52, 'dealList': [{'title': '单人自助午餐/晚餐通用，免费WiFi', 'price': 53, 'soldCounts': 102346}]}
{'poiId': 4456933, 'frontImg': 'https://img.meituan.net/600.600/msmerchant/6b4502ec75a2745ad03b3bbc0a70cd4d3121932.jpg', 'title': '滇草香云南原生态汤火锅（朝阳大悦城店）', 'avgScore': 5, 'allCommentNum': 4671, 'address': '朝阳区朝阳北路101号朝阳大悦城6层（10号电梯附近，咂七咂八对面）', 'avgPrice': 103, 'dealList': [{'title': '双人午餐，免费WiFi', 'price': 118, 'soldCounts': 12463}, {'title': '4人餐午餐，免费WiFi', 'price': 228, 'soldCounts': 5033}, {'title': '双人晚餐，免费WiFi', 'price': 169, 'soldCounts': 8294}, {'title': '4人餐晚餐，免费WiFi', 'price': 278, 'soldCounts': 5251}, {'title': '6人午餐，免费WiFi', 'price': 318, 'soldCounts': 1938}, {'title': '8人午餐，免费WiFi', 'price': 528, 'soldCounts': 363}, {'title': '6人晚餐，免费WiFi', 'price': 388, 'soldCounts': 2284}, {'title': '8人晚餐，免费WiFi', 'price': 568, 'soldCounts': 814}, {'title': '100元代金券1张，可叠加', 'price': 68, 'soldCounts': 11811}, {'title': '100元代金券1张，可叠加', 'price': 10, 'soldCounts': 1488}, {'title': '云南米线单人餐', 'price': 38, 'soldCounts': 16}, {'title': '锅底4选1', 'price': 1, 'soldCounts': 75}]}
{'poiId': 6840453, 'frontImg': 'http://p1.meituan.net/600.600/deal/580443d8d7711761c6b1f89143530319267828.jpg', 'title': 'takecake烘焙工坊（三里屯店）', 'avgScore': 4, 'allCommentNum': 7296, 'address': '朝阳区三里屯北12号楼', 'avgPrice': 88, 'dealList': [{'title': '2磅蛋糕3选1四叶草升级版蛋糕3选1五环内免费配送', 'price': 128, 'soldCounts': 28338}, {'title': '红丝绒蛋糕/缤纷鲜果蛋糕2选1', 'price': 168, 'soldCounts': 992}, {'title': '鲜花浆果裸蛋糕1个，约16厘米，圆形', 'price': 168, 'soldCounts': 4033}, {'title': '暖暖熊蛋糕1个，约8厘米，熊形', 'price': 228, 'soldCounts': 11}, {'title': '手作——瑞士卷/蛋糕卷4选1', 'price': 98, 'soldCounts': 8}, {'title': 'Christmas Cap（圣诞帽）1磅', 'price': 299, 'soldCounts': 1}, {'title': '下午茶甜点3选1', 'price': 158, 'soldCounts': 47}, {'title': '蛋糕3选1', 'price': 488, 'soldCounts': 67}]}
{'poiId': 1576363, 'frontImg': 'http://p0.meituan.net/600.600/mogu/92d839a7e0ef51b6dec3d1e2ba997bb5267281.jpg', 'title': '比格比萨（西单明珠餐厅）', 'avgScore': 4.7, 'allCommentNum': 10967, 'address': '西城区明珠商场8层', 'avgPrice': 54, 'dealList': [{'title': '周一至周五自助餐', 'price': 65, 'soldCounts': 277344}, {'title': '单人零点套餐1份', 'price': 39, 'soldCounts': 204}, {'title': '双人零点套餐1份', 'price': 88, 'soldCounts': 67}]}
{'poiId': 294929, 'frontImg': 'https://img.meituan.net/600.600/msmerchant/2dad52df4c82d6ed914f2de76cedc124528185.jpg', 'title': '金百万（万柳店）', 'avgScore': 5, 'allCommentNum': 4087, 'address': '海淀区万泉河路小南庄400号龙都宾馆院内（近万柳东路）', 'avgPrice': 81, 'dealList': [{'title': '1000元代金券1张，可叠加', 'price': 920, 'soldCounts': 2232}, {'title': '4人套餐，提供免费WiFi', 'price': 298, 'soldCounts': 4352}, {'title': '100元代金券1张，可叠加', 'price': 100, 'soldCounts': 1228}, {'title': '烤鸭1套，提供免费WiFi', 'price': 108, 'soldCounts': 9063}, {'title': '500元代金券1张，可叠加', 'price': 460, 'soldCounts': 96}, {'title': '300元代金券1张，可叠加', 'price': 276, 'soldCounts': 142}, {'title': '双人套餐，提供免费WiFi', 'price': 128, 'soldCounts': 9073}, {'title': '100元代金券1张，可叠加', 'price': 92, 'soldCounts': 8136}, {'title': '八人套餐，提供免费WiFi', 'price': 588, 'soldCounts': 1743}, {'title': '烤鸭1套，提供免费WiFi', 'price': 88, 'soldCounts': 44628}]}
{'poiId': 4541744, 'frontImg': 'http://p1.meituan.net/600.600/deal/10c8be78395aa655f6bb5704db6f5019357246.jpg', 'title': '汉丽轩自助涮烤超市（双井店）', 'avgScore': 3.2, 'allCommentNum': 9187, 'address': '朝阳区百环家园甲19号恺兴文化二楼', 'avgPrice': 44, 'dealList': [{'title': '汉丽轩自助涮烤', 'price': 62, 'soldCounts': 62452}, {'title': '午市自助涮烤', 'price': 55, 'soldCounts': 10724}]}
{'poiId': 287796, 'frontImg': 'http://p1.meituan.net/600.600/mogu/e69c5714c66adc34a6811435e90ce36c53643.jpg', 'title': '串来串去串吧（中关村店）', 'avgScore': 3.8, 'allCommentNum': 2042, 'address': '海淀区中关村大街49号（人大东门人大附中间）', 'avgPrice': 67, 'dealList': [{'title': '100元代金券1张，可叠加', 'price': 88, 'soldCounts': 9423}, {'title': '200元代金券1张，可叠加', 'price': 169, 'soldCounts': 12185}]}
{'poiId': 4147527, 'frontImg': 'http://p1.meituan.net/600.600/deal/__23524696__2888877.jpg', 'title': '金滏山自助烤肉（大成路店）', 'avgScore': 3.7, 'allCommentNum': 11099, 'address': '丰台区大成路23号天泰大厦3楼（久隆百货青塔店十字路口向东）', 'avgPrice': 44, 'dealList': [{'title': '单人晚餐', 'price': 58, 'soldCounts': 78710}, {'title': '单人午餐', 'price': 49, 'soldCounts': 37531}]}

Python爬虫练习之一：抓取美团数据

一、个人理解

二、基础知识

三、使用requests模块下载网址

四、使用xpath获取对应节点

五、抓取美团数据

猜你喜欢