Python学习笔记--第一个项目scrapy

一、安装scrapy包
1、更改anaconda下载包的镜像路径
进入到cmd命令行,使用命令:

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/

这里是使用清华的镜像路径。
接下来执行:

conda config --set show_channel_urls yes

此时就会在你的用户目录C:\Users<你的用户名>下生成一个文件。
文件名字为:.condarc
文件内容如下:
在这里插入图片描述

确认镜像是否更新成功,命令如下:

conda info

在这里插入图片描述

2、安装scrapy
在命令行中执行此命令:

conda install scrapy

安装过程很快。
在这里插入图片描述

3、检查scrapy是否安装成功
使用命令:

conda list

列出所有已经安装的包,检查scrapy是否存在,若存在则已经安装成功。

二、出现的问题及解决办法

1、输入scrapy指令,出现报错:from … import etree ImportError: DLL load failed: 找不到指定的程序。
在这里插入图片描述

安装报错信息来看是lxml版本的问题。
解决办法:
(1)卸载已经安装的lxml

pip uninstall lxml

在这里插入图片描述
(2)去http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 选择对应的lxml版本下载
因为我的Python是3.7的,windows是64位的,所以我下载的是“lxml-4.2.5-cp37-cp37m-win_amd64.whl”

(3)安装新下载的lxml
在这里插入图片描述

再次输入scrapy指令,发现问题解决
在这里插入图片描述

2、创建scrapy工程时报错
from cryptography.hazmat.bindings._openssl import ffi, lib
ImportError: DLL load failed: 操作系统无法运行 %1。
在这里插入图片描述

解决办法:

 >>   pip uninstall pyopenssl

 >>  pip uninstall cryptography

 >>  pip install pyopenssl

  >>  pip install cryptography

在这里插入图片描述

二、创建第一个scrapy项目
1、新建scrapy项目
scrapy项目必须用命令行创建,命令如下,项目名为:firtscrapy

scrapy startproject firtscrapy

在这里插入图片描述

2、在pycharm中打开上面创建的项目
在这里插入图片描述
这一步比较简单,有可能import scrapy找不到,解决办法可参见:(https://blog.csdn.net/water3821/article/details/79970621)

3、编写第一个爬虫代码
可以参照scrapy中文手册:Scrapy入门教程。中给的例子来写第一个demo,其实就是按照手册的步骤自己走一遍,能够将一个简单的爬虫代码跑起来,主要目的是熟悉scrapy结构,以及工程中各文件的作用。

猜你喜欢

转载自blog.csdn.net/eleanoryss/article/details/84546262