スクレイピーな一般的なコマンド
長い間クローラーを書いていませんでした。最後にクローラーを書いたのは 2 年前で、最近レビューしました。
プロジェクトを作成する
startproject プロジェクトを作成するためのコマンド
scrapy startproject myproject [project_dir]
これにより、project_dir ディレクトリの下に Scrapy プロジェクトが作成されます。指定がない場合はと同じになりますproject_dir。project_dirmyproject
次に、新しいプロジェクト ディレクトリに移動します。
cd project_dir
この文は、 があればproject_dirプロジェクト パスは.\project_dir\myproject 、そうでなければプロジェクト パスは であることを意味します.\myproject 。
クローラーを作成する
genspiderクローラーの作成に使用するコマンド
scrapy genspider mydomain mydomain.com
mydomain はいspider、ファイル名です。
mydomain.comこれはクローラーによって指定されたドメイン名です
クロールを開始する (クローラー)
crawl端的に言えば、このコマンドはクローラーを実行することです。
scrapy crawl myspider
ランスパイダー
Python ファイルに含まれるプログラムは、プロジェクトを作成しなくても実行できますspider。
scrapy runspider myspider.py
要約する
これらは比較的一般的なコマンドです。最初に記録し、後で追加します。