python json 爬京东商品评论

目标：爬京东任意商品评论

一、首先打开京东任意商品的评论

               1、我用的是QQ浏览器，右击检查，在Network下选择JS，在搜索框里输入productPageComments(如果出不来记得F5刷新一下）

如图:

2、双击productPageComments会得到以下页面

评论就在其中啦

二、找到想要的东西就要写代码啦

上代码

# -*- coding:utf-8 -*-
import urllib
import json
import sys
reload(sys)
sys.setdefaultencoding( "gbk" )  #注意编码

f=open("PL.txt","w+")
def get_evaluate(url):    #打开网页
    page = urllib.urlopen(url).read().decode('gbk')
    page=page.replace('fetchJSON_comment98vv19563(','')  #替换，也可以使用sub
    page=page.replace(');','')
    data = json.loads(page) #decode的过程，将json对象转换成python对象
    for p in data["comments"]:  #data是个字典，content是data的key值
         content = p["content"].encode('utf-8')
         time = p["referenceTime"].encode('utf-8')
         name = p["referenceName"].encode('utf-8')
         f.write("评价内容"+'\n'+content+'\n'+"类型:"+name+'\n'+"评论时间:"+time+'\n')


for i in range(0,10):#爬取一到十页的评论（可以自己任意设置）
    print("正在获取第{}页评论数据!".format(i+1))
    url = 'https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98vv19' \
          '563&productId=781490&score=0&sortType=5&page=' + str(i) +'0&pageSize=10&isShadowSku=0&fold=1'
          #注意URL的值

    get_evaluate(url)
f.close

三、成果

然后写入文件的格式啊什么的，可以按自己的喜好改改