python3.7安装pyspider

1.安装wheel

pip install wheel

2.安装pycurl

下载地址:https://www.lfd.uci.edu/~gohlke/pythonlibs/

pip install pycurl
pip install D:\pycurl-7.43.0.3-cp37-cp37m-win_amd64.whl

3.安装pyspider

pip install pyspider

4.安装wsgidav

pip install wsgidav

5.pyspider all

pyspider all

  • 问题1:因为 async 和 await 从 python3.7 开始已经加入保留关键字中。所以async不能作为函数的参数名。
    在这里插入图片描述
    修复:async 全部替换为:async1

D:\ProgramData\Anaconda3\Lib\site-packages\pyspider
run.py
fetcher\tornado_fetcher.py
webui\app.py
在这里插入图片描述

  • 问题2:因为 WsgiDAV 发布了版本 pre-release 3.x
    在这里插入图片描述
    解决:

D:\ProgramData\Anaconda3\Lib\site-packages\pyspider\webui
209行:‘domaincontroller’: NeedAuthController(app),
修改为:
‘http_authenticator’:{
‘HTTPAuthenticator’:NeedAuthController(app),
},

在这里插入图片描述

6.安装PhantomJS

下载:https://phantomjs.org/download.html
在这里插入图片描述
解压之后,把 移动到:D:\ProgramData\Anaconda3\Scripts 目录下

7.访问:http://127.0.0.1:5000/

在这里插入图片描述
在这里插入图片描述

发布了153 篇原创文章 · 获赞 122 · 访问量 9万+

猜你喜欢

转载自blog.csdn.net/Happy_Sunshine_Boy/article/details/103668977