Python用のScrapyフレームワーク

前書き

Linuxでインストール

找到python目录，可以使用命令列出当前所有python版本的路径
whereis python

进入到python的目录中
cd 目录

更新一下
sudo apt update

安装pip
sudo apt install python3-pip

然后安装scrapy
pip install scrapy

確認してください：

プロジェクトを作成する

scrapy startproject test1

クロールフィールドの設定、クロールコンテンツの保存の設定、次のようなファイルの設定：user-Agent

ケーススタディ

https://blog.csdn.net/zjiang1994/article/details/52779537