这次爬取微博以手机客户端为主。打开手机客户端的微博链接为 https://m.weibo.cn
进入微博后,随机找到评论多的为例。比如搜索鹿晗。爬取评论鹿晗的评论人的微博网址
打开F12控制台,点击网络,刷新页面往下滑,在控制台出现一些数据,找到数据类型为json,后边是Service Worker.
鼠标点击,如图
我们可以看到请求的网址。消息头后边的响应。打开响应,如图
我们可以看到评论信息的内容,id等
代码很短,每次爬取一个页面
具体代码实现如下
扫描二维码关注公众号,回复:
2548659 查看本文章
import requests
url = "https://m.weibo.cn/comments/hotflow?id=4267937844374459&mid=4267937844374459&max_id=176075044218609&max_id_type=0"
response = requests.get(url)
for j in range(10):
with open('F:\\untitled\\weibo.txt','a')as f:
f.write(str(response.json()['data']['data'][j]['user']['profile_url']) + '\n')
很简单的代码就实现了爬取评论人的微博网址
运行结果如下,会在指定的F:\\untitled\\weibo.txt 的生成评论人的微博网址
随便复制一个到浏览器中打开,就能看到评论人的微博主页了!如图