代码没有发,提供思路
主要爬取内容:
tweets&replies: 发的推文或者回复的内容
follwing: 关注的人
followers: 粉丝
list: 加入的组织或者创建的组织
likes: 喜欢的推文
思路:
- 第一次访问获得max-position,然后模拟构造ajax请求,陆续获得后文内容
- 直接访问页面请求数据时候,第一个max-position数据无法获得,通过在follwing&followers&tweets&replies等之间切换时,发现是通过ajax请求获得的数据,可以获得第一次请求的max-position参数…
- 过程就是,模拟登陆(selenium),将cookies传给requests,使用requests发送ajax请求,获得数据,解析数据…