在pycharm中建立蜘蛛项目很多坑,一路摸爬滚打过来,总结以下流程
python建议使用3.6版本,3.7版运行时会出错,得修改一个文件,参加本站相关文章
更新pip到最新版
python -m pip install --upgrade pip
更新pip与scrapy的关联文件 https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 找对应的文件-->cp37对应python3.7
pip install e:\dl\Twisted-18.7.0-cp36-cp36m-win_amd64.whl
pip install e:\dl\Twisted-18.7.0-cp37-cp37m-win_amd64.whl
安装scrapy
pip install scrapy
建立项目-->
scrapy startproject 项目名称 ,自动生成一堆文件
创建虚拟环境-->(pip install virtualenv 安装虚拟环境软件)
进入建立好的项目文件夹中后 virtualenv venv
导入项目-->
pycharm的open-->打开项目文件夹
建立好基本项目后,在 https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 找对应的文件-->cp37对应python3.7
下载后在底部控制台(Terminal)中使用此文件(路径根据实际情况填写):
pip install e:\dl\Twisted-18.7.0-cp37-cp37m-win_amd64.whl
如果更新成功,在setings的库文件设置中会显示为最新版本
在库文件管理中安装scrapy即可
库文件中安装 pypiwin32