Scrapy爬虫框架应用(环境准备)

在windows环境下安装与配置Anaconda

       Anaconda 是一个包含数据科学常用包的 Python 发行版本。它基于 conda(一个包和环境管理器)衍生而来。你将使用 conda 创建环境,以便分隔使用不同 Python 版本和不同程序包的项目。你还将使用它在环境中安装、卸载和更新包。通过使用 Anaconda,处理数据的过程将更加轻松。
       点击清华大学开源软件镜像站下拉即可找到最新的Anaconda发布版,需要注意的是文件列表中后缀为x86的软件对应的电脑是32位,如果你的电脑是64位的推荐选择后缀为x86_64的软件。点击下载后把文件解压并双击Anaconda3-5.3.1-Windows-x86.exe进行安装。
最新版本的Anaconda
Anaconda安装配置
       第一个勾是是否把Anaconda加入环境变量,第二个是是否设置Anaconda所带的Python 3.7为系统默认的Python版本。安装完成以后,就可以打开cmd测试一下安装结果。输入python会进入python交互命令行(可以看到提示为Anaconda里的Python)。
cmd-pyhton

修改Anaconda包管理镜像源

       因为Anaconda的默认下载源在国外,不利于Anaconda的应用包升级。我们将其改为清华的镜像源,打开cmd输入下面的命令就可以了。

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --set show_channel_urls yes

更新Anaconda的所有的包

       我们在使用Anaconda的时候为了避免报错,我推荐在先在默认环境下更新所有的包。因为初次安装下的软件包版本一般都比较老旧,因此提前更新可以避免未来不必要的问题。用管理员权限打开Anaconda Prompt输入下面的命令,更新可能会很慢请耐心等待。

conda update conda
conda update --all

安装Scrapy爬虫框架

       ScrapyPython开发的一个快速、高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试。
       Scrapy吸引人的地方在于它是一个框架,任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类,如BaseSpidersitemap爬虫等,最新版本又提供了web2.0爬虫的支持。打开Anaconda Prompt输入下面的命令,开始安装Scrapy爬虫框架。

conda install scrapy

python.exe - 无法找到入口

       可能是我以前安装过Anaconda的原因,再次安装后再安装Scrapy报错了。
无法找到入口
       解决方法是先找到进入Anaconda\DLLS目录,查看libssl-1_1-x64.dll的日期。
Anaconda\DLLS
       再进入Anaconda\Library\bin目录,,查看libssl-1_1-x64.dll的日期并比较两者日期。如果不一致,将DLLS中的libssl-1_1-x64.dll替换为bin中的libssl-1_1-x64.dll。
Anaconda\Library\bin
在这里插入图片描述

找不到指定的程序

       我们在使用下边的命令Scrapy创建爬虫项目的时候如果报错如下的话。使用管理员权限打开cmd,输入下边的命令等待即可。
在这里插入图片描述

pip install -I cryptography

猜你喜欢

转载自blog.csdn.net/qq_42091436/article/details/103957683
今日推荐