Scrapy - スパイダーミドルウェア

爬虫類のミドルウェア（スパイダーミドルウェア）

爬虫類のミドルウェアの使用状況およびダウンロードミドルウェアは非常に似ていますが、オブジェクトの役割が異なります。オブジェクト要求の役割は、ミドルウェアの要求とリターン応答をダウンロードされ、オブジェクトのクローラミドルウェア爬虫類の役割は、より具体的には、以下のクモのファイルフォルダのそれぞれに書かれています。以下に示すように、データフローグラフScrapyよく別々の領域におけるそれらの関係。

ダウンロードされたミドルウェアは4,5を表し、6,7ミドルウェアは爬虫類を表します。爬虫類のミドルウェアは、以下の状況で呼び出されます。

1. 実行しているときyield scrapy.Request()やyield itemとき爬虫類のミドルウェアprocess_spider_output()メソッドが呼び出されます。
2. 爬虫類コード自体が登場したときException爬虫類ミドルウェアたときにprocess_spider_exception()メソッドが呼び出されます。
3. コールバック関数内の爬虫類をするとparse_xxx()、それが呼び出される前に、爬虫類のミドルウェアprocess_spider_input()メソッドが呼び出されます。
4. 実行している場合はstart_requests()、時間、爬虫類のミドルウェアprocess_start_requests()メソッドが呼び出されます。