初识Scrapy框架(一)——在Pycharm上安装Scrapy

前言

连着几天学习Python爬虫,今天准备尝试一下Scrapy框架,但是一开始的安装就遇到了很多问题,让我们来解决一下吧。

开始

首先呢,利用伟大的pycharm的自动查找安装第三方包,pycharm可以帮你找到大多数的第三方包,不需要你自己去网上查找和下载了。他会自动查找符合你添加python解释器的第三方模块。

我们打开Pycharm,点击File,settings出现下图的窗口,然后再左上角搜索栏中搜索Project Interpreter.
然后就会出现已经安装好了的第三方的包。
这里写图片描述
有没有发现图片的右侧有一个绿色的加号,点进那个加号,然后就会出现如下的窗口。
这里写图片描述
然后我们要按照下图从下到上的顺序,依次在左上角搜索,并点击下面的Install Package安装包
这里写图片描述

但是,当我们安装到twisted包的时候
然后问题就来了有没有:
这里写图片描述
安装的时候出现了上图的错误。

经过我一番搜索,这两个链接给我了答案:https://blog.csdn.net/qq_35304570/article/details/78877799
https://blog.csdn.net/c406495762/article/details/60156205

解决方法就是在http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted下载对应版本whl文件

(如我的Twisted‑17.9.0‑cp35‑cp35m‑win32.whl),cp后面是python版本,win32代表32位系统(64位类似),然后打开cmd运行命令:

pip install D:\Twisted-17.9.0-cp35-cp35m-win32.whl(你文件放到哪前面的地址就是哪)
install后面为下载的whl文件存放的完整路径名
安装完成后,再次运行cmd输入命令:
pip install Scrapy(这里不懂的再学下Python基础吧)

安装完成后 我们在cmd中再次输入scrapy如果提示:
这里写图片描述
Scrapy安装成功。

更新:使用Pycharm时发现新的问题
import scrapy会有错误提示
发现Pycharm里面twisted和scrapy是安装失败的
但是系统里面scrapy确实安装成功

这个问题折腾了一下午,网上也没搜到解决方法
但我自己发现的解决方法是在项目的路径下安装twisted对应的那个whl文件
我自己的cmd命令行安装的代码是:

扫描二维码关注公众号,回复: 2149677 查看本文章
D:\PythonWork\MyFirstScrapySpider\venv\Scripts> pip install Twisted-17.9.0-cp36-cp36m-win32.whl

然后在Pycharm里面安装twisted就不会报错了
然后再在pycharm里面安装scrapy
搞定

但是不知道下一次创建项目的时候会怎么样,会不会还要再手动来一次
新人小白的本次学习记录就到这里,如果有大牛看到了也希望能给出更好的解决办法,谢谢~

再次更新:如何在Pycharm上创建,运行Scrapy项目
见此链接:https://blog.csdn.net/u012052268/article/details/72063917

猜你喜欢

转载自blog.csdn.net/zyw644451/article/details/79756188