Python scrapy在windows下的安装

windows下的安装步骤

查看Python与scrapy是否安装

• 首先在DOS的Python命令行查看是否已安装scrapy

  import scrapy
  

  
• 查看安装的Python环境变量是否已经配置，Python是否能被够正常运行

  pip -V
  

  

接下来进行scrapy的依赖库的安装

• 1.安装wheel

  pip install wheel
  

  当出现 Successfully installed pip-18.1时，则wheel安装成功。
  
  若在安装wheel时报如下信息：
  
  • 找到Python的安装路径

  where python
  

  
  找到Python的安装路径，然后进入D:\python的Scripts目录下，shift+鼠标右键打开命令窗口，执行如下面命令：

  python -m pip install --upgrade pip
  

  
  然后重新输入wheel的安装命令，此时会wheel安装成功。
  
• 2.安装lxml

  到官方网站 https://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml 下载相应版本的lxml文件。

  • 选中下载好的lxml文件右键 -> 属性 -> 安全 -> 复制对象名称的路径
    
  • 在DOS命令行中输入命令安装xml
    pip install 文件路径
    
    lxml安装成功。
• 3.安装PyOpenssl

  到官方网站 https://pypi.org/project/pyOpenSSL/#files 下载pyOpenSSL的Wheel文件。

  • 选中下载好的PyOpenssl文件右键 -> 属性 -> 安全 -> 复制对象名称的路径
  • 在DOS命令行中输入命令安装PyOpenssl
    pip install 文件路径
    
    
    此时PyOpenssl安装成功。
• 4.Twisted框架的安装

  到官方网站 https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 下载相应版本的Twisted文件。

  • 同样的方法复制路径然后在DOS命令行中输入命令安装Twisted
    pip install 文件路径
    
    
    Twisted安装成功
• 5.安装Pywin32

  到官方网站
  https://sourceforge.net/projects/pywin32/files/pywin32/Build 220/
  下载相应版本的Pywin32文件。

  • 双击运行pywin32-220.win-amd64-py3.6.exe,安装时一直点击下一步直到安装完成(它会自动识别python的目录并安装进去)。
  • 在安装pywin32时出现下面情况时的解决办法
    
    • 先运行下面脚本，再重新安装pywin32

    import sys
    from winreg import *
    # tweak as necessary
    version = sys.version[:3]
    installpath = sys.prefix
    regpath = "SOFTWARE\\Python\\Pythoncore\\%s\\" % (version)
    installkey = "InstallPath"
    pythonkey = "PythonPath"
    pythonpath = "%s;%s\\Lib\\;%s\\DLLs\\" % (
        installpath, installpath, installpath
    )
    def RegisterPy():
        try:
            reg = OpenKey(HKEY_CURRENT_USER, regpath)
        except EnvironmentError as e:
            try:
                reg = CreateKey(HKEY_CURRENT_USER, regpath)
                SetValue(reg, installkey, REG_SZ, installpath)
                SetValue(reg, pythonkey, REG_SZ, pythonpath)
                CloseKey(reg)
            except:
                print("*** Unable to register!")
                return
            print("--- Python", version, "is now registered!")
            return
        if (QueryValue(reg, installkey) == installpath and
                    QueryValue(reg, pythonkey) == pythonpath):
            CloseKey(reg)
            print("=== Python", version, "is already registered!")
            return
        CloseKey(reg)
        print("*** Unable to register!")
        print("*** You probably have another Python installation!")
    if __name__ == "__main__":
        RegisterPy()
    

    • 若还报错，在cmd命令窗口中输入regedit,找到如图所示的路径,将Python下的3.6重命名为3.6-32，然后在重新安装pywin32，此时就会安装成功。
      
• 6.安装scrapy
  • 执行下面命令安装scrapy
    pip install scrapy
    
    
  • 配置环境变量：将D:\python\Scripts添加到环境变量中
    
  • 查看scrapy是否安装成功
    命令行中输入scrapy
    
  • 创建项目，并进入该目录，依次执行下面的命令

    #第一步：
    scrapy startproject hello
    #第二步：
    cd hello
    #第三步：
    scrapy genspider baidu www.baidu.com
    #第四步：
    scrapy crawl baidu
    

  
  
  
  安装成功！