版权声明:本文为博主原创文章,转载请注明出处 浅然的专栏 https://blog.csdn.net/w_linux/article/details/82155181
一、场景简述
笔者在写xx爬虫的时候,需要获取页面请求返回的json数据中的某些数据,遇见如下的"key":value("id":value)或者是"key":"value"("rateDate":"value")区别在于value是否带引号,并且需要获取相应的value值,笔者通过正则快速解决
二、场景实现
1、"key":value("id":value)类型
主要关注点在于正则部分
page = 1
param = {
'currentPage': page
}
# 伪装火狐
kv = {'User-Agent': 'Mozilla/5.0'}
response = requests.get(url, params=param, headers=kv)
data = response.text
#通过正则获取"id":value列表
datalist = re.findall(r'\"id\":.*?(?=,)', data)
#打印datalist
print(datalist)
打印结果如下
获取list中的value如下
text = []
for i in range(20):
#将datalist[i]加入到list列表中
text.append((datalist[i]))
#利用split 用:符号进行切分
listid = re.split(':',text[i][3])
itemid = listid[1]
print(itemid)
#每次获取的值就是value了
2、"key":"value"("rateDate":"value")类型
datalist2 = re.findall(r'\"rateDate\":\".*?\"', data)
print(datalist2)
打印结果如下
获取list中的value如下
for i in range(20):
#可以观察以上是以"分隔开因为三个"是注释,所以需要\"进行转义,所以可以利用split进行切分,因为切分的结果在list中
text.append((datalist2[i].split("\"")[3])
times = text[i][0]
print(times)
#打印结果就是value值了