scrapy安装方法总结

使用pip安装scrapy过程中失败解决方法

因scrapy需安装文件较多,使用pip install scrapy时,

往往会出现ReadTimeoutError

作为爬虫学习小白,在总结后,有以下方法供以解决问题:
1.(最简单)

通过国内镜像下载:
例如:pip install -i https://pypi.tuna.tsinghua.edu.cn/simple scrapy
上述为通过清华大学开源软件镜像站下载 scrapy
2.(一劳永逸)

安装Anaconda(默认安装好python大量常用库):

Anaconda [ænə’kɑndə] 水蟒。它是一个Python语言的免费增值发行版,用于进行大规模数据处理, 预测分析, 和科学计算,
致力于简化模块的管理和部署

windows下anaconda安装:前往Anaconda官网 即可下载安装,国内用户可以到清华大学TUNA镜像站下载。(此处不详细介绍)
3.(最麻烦)
本人在学习过程中,发现有大量博客中,通过一个个安装诸如 lxml、 pyOpenSSL 、 Twisted等库,最后进行安装scrapy。
此方法相对来说较为耗时,且安装其他库的过程中,很可能仍会出现某些问题。

猜你喜欢

转载自blog.csdn.net/qq_43229056/article/details/104186821
今日推荐