Python——Scrapy框架搭建与创建项目

今天分享一下Scrapy爬虫框架的安装过程。
所需环境

• python3.x
• 配置好pip环境变量
• 安装好pycharm（方便使用）

安装步骤
1.安装lxml
命令： pip install lxml

我事先已经安装好了
2.安装win32api
命令：pip install win32api

3.安装twisted
下载地址：
https://pypi.org/simple/twisted/
注意：下载版本要看自己电脑的需求
具体步骤如下
进入cmd 输入命令python进入python命令行

import pip
print(pip.pep425tags.get_supported())

这样就会输出本机所支持的pip下载文件格式，然后下载对应版本的twisted

pip install Twisted-18.9.0-cp36-cp36m-win_amd64.whl

4.安装scrapy

pip install scrapy

等待一会，显示successful后就代表安装成功了

5.在pycharm中创建scrapy项目
进入pycharm点击terminal命令行
运行命令scrapy startproject douban

这样，我们的项目就创建好啦。