anaconda安装scrapy过程

anaconda安装scrapy过程

这几天每天都在看AR的开发文档,又没有HL2设备,没有在设备上实践感觉总是看着没有动力,所以就转移一下注意力,搞点实践类的东西,那就研究下爬虫吧,虽然没学过python,但感觉应该不难,动手开干吧!!!

1.安装python

打开python官网,好慢啊,于是想了个比较快的方法,打开360安全卫士–软件管家,搜索python,里面有python2和python3 ,是python3.8的,做测试,够用了,速度非常快!!!安装完成后在cmd中测试,由于安装时加入了环境变量,直接输入 python,相关版本信息就会出现。

2.安装scrapy

下一步就是安装牛掰的爬虫软件了,我看网上介绍都推荐用这个,所以就试试这个工具吧,安装常用方式有两种:
1.安装node.js,然后利用npm工具安装,这种安装方式据说会让你安装到怀疑人生…我只是简单试了下,一片片红色的代码,看着让人眼晕,果断放弃(不知道把每个依赖包单独下载下来安装是否可行,纯属瞎猜)。
2.利用anaconda软件安装,听说这种方式特别省心,啥也不用管,但实践证明,说这话的人都不负责任,当然这个和我的软件环境有一定关系,下载的anaconda版本是3.5的,应该比较老吧,由于手机热点流量有限,所以就没有下载别的版本了。
在cmd中直接安装scrapy

conda install scrapy

然后经过漫长的等待

C:\Users\Administrator>conda install scrapy
Fetching package metadata .............
Solving package specifications: .

Package plan for installation in environment C:\ProgramData\Anaconda3:

The following NEW packages will be INSTALLED:

    _anaconda_depends:      5.0.1-py36h8316230_2
    attrs:                  19.3.0-py_0
    automat:                0.8.0-py_0
    bcrypt:                 3.1.7-py36he774522_0
    blas:                   1.0-mkl
    conda-package-handling: 1.6.0-py36h62dcd97_0
    constantly:             15.1.0-pyh91ea838_0
    cssselect:              1.1.0-py_0
    hyperlink:              19.0.0-py_0
    incremental:            17.5.0-py36_0
    parsel:                 1.5.2-py36_0
    pyasn1:                 0.4.8-py_0
    pyasn1-modules:         0.2.7-py_0
    pydispatcher:           2.0.5-py36_1
    pyhamcrest:             1.9.0-py_2
    pytest-runner:          5.2-py_0
    queuelib:               1.5.0-py36_0
    scrapy:                 1.6.0-py36_0
    service_identity:       18.1.0-pyh91ea838_0
    tqdm:                   4.42.0-py_0
    twisted:                19.10.0-py36he774522_0
    w3lib:                  1.21.0-py_0
    zope:                   1.0-py36_1
    zope.interface:         4.7.1-py36he774522_0

The following packages will be UPDATED:

    anaconda:               5.0.1-py36h8316230_2   --> custom-py36_1
    conda:                  4.3.30-py36h7e176b0_0  --> 4.8.2-py36_0
    conda-env:              2.6.0-h36134e3_1       --> 2.6.0-1
    menuinst:               1.4.10-py36h42196fb_0  --> 1.4.16-py36he774522_0
    pycosat:                0.6.2-py36hf17546d_1   --> 0.6.3-py36he774522_0
    vc:                     14-h2379b0c_2          --> 14.1-h0510ff6_4
    vs2015_runtime:         14.0.25123-hd4c4e62_2  --> 14.16.27012-hf0eaf9b_1

Proceed ([y]/n)? y

menuinst-1.4.1 100% |###############################| Time: 0:00:24   9.31 kB/s
blas-1.0-mkl.t 100% |###############################| Time: 0:00:00   0.00  B/s
conda-env-2.6. 100% |###############################| Time: 0:00:00 180.58 kB/s
vs2015_runtime 100% |###############################| Time: 0:05:46   7.24 kB/s
vs2015_runtime 100% |###############################| Time: 0:00:31  80.23 kB/s
vc-14.1-h0510f 100% |###############################| Time: 0:00:00 396.67 kB/s
attrs-19.3.0-p 100% |###############################| Time: 0:00:00   2.53 MB/s
constantly-15. 100% |###############################| Time: 0:00:00   0.00  B/s
cssselect-1.1. 100% |###############################| Time: 0:00:00   1.20 MB/s
incremental-17 100% |###############################| Time: 0:00:00 108.22 kB/s
pyasn1-0.4.8-p 100% |###############################| Time: 0:00:00 180.65 kB/s
pycosat-0.6.3- 100% |###############################| Time: 0:00:01  67.98 kB/s
pydispatcher-2 100% |###############################| Time: 0:00:00   0.00  B/s
queuelib-1.5.0 100% |###############################| Time: 0:00:08   2.61 kB/s
tqdm-4.42.0-py 100% |###############################| Time: 0:00:01  38.11 kB/s
zope-1.0-py36_ 100% |###############################| Time: 0:00:00   0.00  B/s
automat-0.8.0- 100% |###############################| Time: 0:00:00  77.04 kB/s
conda-package- 100% |###############################| Time: 0:00:26  26.15 kB/s
hyperlink-19.0 100% |###############################| Time: 0:00:01  27.44 kB/s
pyasn1-modules 100% |###############################| Time: 0:00:01  47.32 kB/s
pyhamcrest-1.9 100% |###############################| Time: 0:00:00 612.99 kB/s
w3lib-1.21.0-p 100% |###############################| Time: 0:00:03  50.26 kB/s
zope.interface 100% |###############################| Time: 0:00:05  43.88 kB/s
bcrypt-3.1.7-p 100% |###############################| Time: 0:00:00 117.38 kB/s
pytest-runner- 100% |###############################| Time: 0:00:00   0.00  B/s
service_identi 100% |###############################| Time: 0:00:00   0.00  B/s
parsel-1.5.2-p 100% |###############################| Time: 0:00:04  36.00 kB/s
conda-4.8.2-py 100% |###############################| Time: 0:01:56  27.73 kB/s
twisted-19.10. 100% |###############################| Time: 0:05:46  15.37 kB/s
scrapy-1.6.0-p 100% |###############################| Time: 0:00:24  14.53 kB/s
_anaconda_depe 100% |###############################| Time: 0:00:00   0.00  B/s
anaconda-custo 100% |###############################| Time: 0:00:00   0.00  B/s
ERROR conda.core.link:_execute_actions(337): An error occurred while installing package 'defaults::tqdm-4.42.0-py_0'.
CondaError: Cannot link a source that does not exist. C:\ProgramData\Anaconda3\Scripts\conda.exe
Running `conda clean --packages` may resolve your problem.
Attempting to roll back.


CondaError: Cannot link a source that does not exist. C:\ProgramData\Anaconda3\Scripts\conda.exe
Running `conda clean --packages` may resolve your problem.

啊哈,那么问题来了,这是肿么了,tqdm是个啥?不是说很省心的安装方式吗?
经过一顿网页键盘搜索操作,还好找到了解决办法:
https://github.com/conda/conda/issues/9033
简单来说就是执行以下两个步骤
1.conda intsall tqdm -f
2.conda update conda
一切顺利,然后
conda list
啊哈,已经成功安装了tqdm,接下来再去安装scrapy吧,我在另外一台电脑已经成功安装,这台电脑的安装貌似又和那个不一样,还在安装中,应该没有啥问题!

猜你喜欢

转载自blog.csdn.net/shangjunyang/article/details/104259036
今日推荐