python之scrapy框架

介绍

linux下安装

找到python目录，可以使用命令列出当前所有python版本的路径
whereis python

进入到python的目录中
cd 目录

更新一下
sudo apt update

安装pip
sudo apt install python3-pip

然后安装scrapy
pip install scrapy

验证一下：

创建工程

scrapy startproject test1

设置爬取字段、设置保存爬取内容、设置文件如：user-Agent

案例

https://blog.csdn.net/zjiang1994/article/details/52779537