利用Python爬取B站千万级数据,并对其进行简单的分析

前言

说起热门的B站相信很多喜欢玩动漫的,看最有创意的Up主的同学一定非常熟悉。B站上面除了动漫之外也有很多有趣的视频,也有很多教学视频,是非常不错的一个网站。

本篇文章要点

爬取10万用户数据

数据存储

数据词云分析

基本环境配置

版本:Python3

系统:Windows

相关模块:requests

想要学习Python?Python学习交流群:452739833,资料都已经上传群文件流,可以自行下载!

Python爬虫的基本思路

实现步骤

爬取用户数据

存入数据库

词云分析

词云效果图

代码的思路

需要找到B站用户的关注列表的json接口,因为B站的隐私设置,一个人只能爬取其他人的前5页关注,共100人。

从数据库中获取用户的名字,重复的次数越多说明越多的用户关注,然后我使用fate的一张图片作为词云的mask图片,最后生成词云图片。

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对小编的支持。

猜你喜欢

转载自blog.csdn.net/qq_40925239/article/details/86645456
今日推荐