anaconda安装scrapy过程
anaconda安装scrapy过程
这几天每天都在看AR的开发文档,又没有HL2设备,没有在设备上实践感觉总是看着没有动力,所以就转移一下注意力,搞点实践类的东西,那就研究下爬虫吧,虽然没学过python,但感觉应该不难,动手开干吧!!!
1.安装python
打开python官网,好慢啊,于是想了个比较快的方法,打开360安全卫士–软件管家,搜索python,里面有python2和python3 ,是python3.8的,做测试,够用了,速度非常快!!!安装完成后在cmd中测试,由于安装时加入了环境变量,直接输入 python,相关版本信息就会出现。
2.安装scrapy
下一步就是安装牛掰的爬虫软件了,我看网上介绍都推荐用这个,所以就试试这个工具吧,安装常用方式有两种:
1.安装node.js,然后利用npm工具安装,这种安装方式据说会让你安装到怀疑人生…我只是简单试了下,一片片红色的代码,看着让人眼晕,果断放弃(不知道把每个依赖包单独下载下来安装是否可行,纯属瞎猜)。
2.利用anaconda软件安装,听说这种方式特别省心,啥也不用管,但实践证明,说这话的人都不负责任,当然这个和我的软件环境有一定关系,下载的anaconda版本是3.5的,应该比较老吧,由于手机热点流量有限,所以就没有下载别的版本了。
在cmd中直接安装scrapy
conda install scrapy
然后经过漫长的等待
C:\Users\Administrator>conda install scrapy
Fetching package metadata .............
Solving package specifications: .
Package plan for installation in environment C:\ProgramData\Anaconda3:
The following NEW packages will be INSTALLED:
_anaconda_depends: 5.0.1-py36h8316230_2
attrs: 19.3.0-py_0
automat: 0.8.0-py_0
bcrypt: 3.1.7-py36he774522_0
blas: 1.0-mkl
conda-package-handling: 1.6.0-py36h62dcd97_0
constantly: 15.1.0-pyh91ea838_0
cssselect: 1.1.0-py_0
hyperlink: 19.0.0-py_0
incremental: 17.5.0-py36_0
parsel: 1.5.2-py36_0
pyasn1: 0.4.8-py_0
pyasn1-modules: 0.2.7-py_0
pydispatcher: 2.0.5-py36_1
pyhamcrest: 1.9.0-py_2
pytest-runner: 5.2-py_0
queuelib: 1.5.0-py36_0
scrapy: 1.6.0-py36_0
service_identity: 18.1.0-pyh91ea838_0
tqdm: 4.42.0-py_0
twisted: 19.10.0-py36he774522_0
w3lib: 1.21.0-py_0
zope: 1.0-py36_1
zope.interface: 4.7.1-py36he774522_0
The following packages will be UPDATED:
anaconda: 5.0.1-py36h8316230_2 --> custom-py36_1
conda: 4.3.30-py36h7e176b0_0 --> 4.8.2-py36_0
conda-env: 2.6.0-h36134e3_1 --> 2.6.0-1
menuinst: 1.4.10-py36h42196fb_0 --> 1.4.16-py36he774522_0
pycosat: 0.6.2-py36hf17546d_1 --> 0.6.3-py36he774522_0
vc: 14-h2379b0c_2 --> 14.1-h0510ff6_4
vs2015_runtime: 14.0.25123-hd4c4e62_2 --> 14.16.27012-hf0eaf9b_1
Proceed ([y]/n)? y
menuinst-1.4.1 100% |###############################| Time: 0:00:24 9.31 kB/s
blas-1.0-mkl.t 100% |###############################| Time: 0:00:00 0.00 B/s
conda-env-2.6. 100% |###############################| Time: 0:00:00 180.58 kB/s
vs2015_runtime 100% |###############################| Time: 0:05:46 7.24 kB/s
vs2015_runtime 100% |###############################| Time: 0:00:31 80.23 kB/s
vc-14.1-h0510f 100% |###############################| Time: 0:00:00 396.67 kB/s
attrs-19.3.0-p 100% |###############################| Time: 0:00:00 2.53 MB/s
constantly-15. 100% |###############################| Time: 0:00:00 0.00 B/s
cssselect-1.1. 100% |###############################| Time: 0:00:00 1.20 MB/s
incremental-17 100% |###############################| Time: 0:00:00 108.22 kB/s
pyasn1-0.4.8-p 100% |###############################| Time: 0:00:00 180.65 kB/s
pycosat-0.6.3- 100% |###############################| Time: 0:00:01 67.98 kB/s
pydispatcher-2 100% |###############################| Time: 0:00:00 0.00 B/s
queuelib-1.5.0 100% |###############################| Time: 0:00:08 2.61 kB/s
tqdm-4.42.0-py 100% |###############################| Time: 0:00:01 38.11 kB/s
zope-1.0-py36_ 100% |###############################| Time: 0:00:00 0.00 B/s
automat-0.8.0- 100% |###############################| Time: 0:00:00 77.04 kB/s
conda-package- 100% |###############################| Time: 0:00:26 26.15 kB/s
hyperlink-19.0 100% |###############################| Time: 0:00:01 27.44 kB/s
pyasn1-modules 100% |###############################| Time: 0:00:01 47.32 kB/s
pyhamcrest-1.9 100% |###############################| Time: 0:00:00 612.99 kB/s
w3lib-1.21.0-p 100% |###############################| Time: 0:00:03 50.26 kB/s
zope.interface 100% |###############################| Time: 0:00:05 43.88 kB/s
bcrypt-3.1.7-p 100% |###############################| Time: 0:00:00 117.38 kB/s
pytest-runner- 100% |###############################| Time: 0:00:00 0.00 B/s
service_identi 100% |###############################| Time: 0:00:00 0.00 B/s
parsel-1.5.2-p 100% |###############################| Time: 0:00:04 36.00 kB/s
conda-4.8.2-py 100% |###############################| Time: 0:01:56 27.73 kB/s
twisted-19.10. 100% |###############################| Time: 0:05:46 15.37 kB/s
scrapy-1.6.0-p 100% |###############################| Time: 0:00:24 14.53 kB/s
_anaconda_depe 100% |###############################| Time: 0:00:00 0.00 B/s
anaconda-custo 100% |###############################| Time: 0:00:00 0.00 B/s
ERROR conda.core.link:_execute_actions(337): An error occurred while installing package 'defaults::tqdm-4.42.0-py_0'.
CondaError: Cannot link a source that does not exist. C:\ProgramData\Anaconda3\Scripts\conda.exe
Running `conda clean --packages` may resolve your problem.
Attempting to roll back.
CondaError: Cannot link a source that does not exist. C:\ProgramData\Anaconda3\Scripts\conda.exe
Running `conda clean --packages` may resolve your problem.
啊哈,那么问题来了,这是肿么了,tqdm是个啥?不是说很省心的安装方式吗?
经过一顿网页键盘搜索操作,还好找到了解决办法:
https://github.com/conda/conda/issues/9033
简单来说就是执行以下两个步骤
1.conda intsall tqdm -f
2.conda update conda
一切顺利,然后
conda list
啊哈,已经成功安装了tqdm,接下来再去安装scrapy吧,我在另外一台电脑已经成功安装,这台电脑的安装貌似又和那个不一样,还在安装中,应该没有啥问题!