爬虫抓取新浪微博数据

工具:云采爬虫

目标:抓取某个博主的全部微博

分析网页结构:

我们抓取的思路是模拟浏览器自动访问页面抓取。

我们来看一下页面结构,首先每个微博列表,必须进行三四次的下拉加载,如果底部有个翻页的按钮,那么判断本页加载完成。

登录的问题

抓取需要登录账号,如何登录呢?

登录是不需要验证码的,如果你输入错了,才会叫你输入验证码,所以登录是没什么技术难度的。

我们可以创建一个【登录模块】,先用浏览器登录,往后所有的页面都基于这个浏览器共享的cookie去抓取。

流程图设计:

我们不需要微博的详情页。所以整个爬虫的流程是没有详情页的,数据都从列表里面提取。

爬取结果:

总共花费了5分钟的时间,抓取了10个页面,总计四百条微博。因为我的微博发的不是很频繁。

数据如下:

做个简单的词云:

 

猜你喜欢

转载自blog.csdn.net/milu2003516/article/details/106208880