使用pip安装scrapy过程中失败解决方法
因scrapy需安装文件较多,使用pip install scrapy时,
往往会出现ReadTimeoutError
作为爬虫学习小白,在总结后,有以下方法供以解决问题:
1.(最简单)
通过国内镜像下载:
例如:pip install -i https://pypi.tuna.tsinghua.edu.cn/simple scrapy
上述为通过清华大学开源软件镜像站下载 scrapy
2.(一劳永逸)
安装Anaconda(默认安装好python大量常用库):
Anaconda [ænə’kɑndə] 水蟒。它是一个Python语言的免费增值发行版,用于进行大规模数据处理, 预测分析, 和科学计算,
致力于简化模块的管理和部署
windows下anaconda安装:前往Anaconda官网 即可下载安装,国内用户可以到清华大学TUNA镜像站下载。(此处不详细介绍)
3.(最麻烦)
本人在学习过程中,发现有大量博客中,通过一个个安装诸如 lxml、 pyOpenSSL 、 Twisted等库,最后进行安装scrapy。
此方法相对来说较为耗时,且安装其他库的过程中,很可能仍会出现某些问题。