不通过twitter API获取Twitter数据的方法(自用爬取twitter数据)

不通过twitter API调用Twitter数据

在做一个有关信息搜集的项目,需要抓取Twitter的数据以进行各种方面的应用,申请Twitter开发者账号又一直不通过,无法调用Twitter API, 从Github中找到了一个可以进行Twitter数据抓取的包,因为网络的原因耗费了挺多精力,开个贴记录一下,不要踩坑

1、Python库的导入

使用Twint包进行数据的抓取
使用anaconda 创建好相应python3.6环境,开始安装twint

pip install twint

期间会遇到多次错误,然后重新输入命令即可

2.遇到的网络问题的

** 1.aiohttp.client_exceptions.ClientConnectorError: Cannot connect to host twitter.com:443 ssl:True [Connect call failed ('104.244*****)] **

解决方法:将代理换位全局模式代理

在这里插入图片描述
具体的梯子就不贴出来,容易被和谐

2.root:twint.get:User:‘NoneType’ object is not subscriptable

pip3 install --user --upgrade git+https://github.com/twintproject/twint.git@origin/master#egg=twint

遇到新的问题再更新

猜你喜欢

转载自blog.csdn.net/huangdxian/article/details/121091648