python爬虫爬取京东、淘宝、苏宁上华为P20购买评论

爬虫爬取京东、淘宝、苏宁上华为P20购买评论

1.使用软件

Anaconda3

2.代码截图

三个网站代码大同小异,因此只展示一个

3.结果(部分)

京东

淘宝

苏宁

4.分析

这三个网站上的评论数据是动态的,无法直接获取html解析出来。这些数据是通过数据包的传输获取到这些评论信息,其中通过浏览器开发者模式对数据包的查找,得知京东和淘宝是通过后台发的前端的json包解析得到,而苏宁是js包。但是经过分析,包结构均为:字段(json)结构。只要简单的去掉“字段()”结构就是简单的json数据,之后便可以引入python的json包,调用其中的方法便可以提取出评论的字符。

猜你喜欢

转载自www.cnblogs.com/doimpossible/p/10626721.html