scrapyのカスタムコマンド

カスタムコマンド

• コマンド：などと同じレベルの任意のディレクトリのスパイダーを作成
• これでcrawlall.pyファイルを作成します（ファイル名はカスタムコマンドがどこにありますか）
• 

  1  から scrapy.commandsはインポートScrapyCommand
   2      から scrapy.utils.project インポートget_project_settings
   3  
  4  
  5      クラス：コマンド（ScrapyCommand）
   6  
  7          requires_project = 真
   8  
  9          デフ構文（自己）：
   10              リターン ' [オプション] ' 
  11  
  12          デフSHORT_DESC（自己）：
   13              リターン ' スパイダーの全てのラン' 
  14  
  15          DEF 、（自己、引数を実行オプト）：
   16             spider_list = self.crawler_process.spiders.list（）
   17              のための名前でspider_list：
   18                  self.crawler_process.crawl（名前、** OPTS。__dict__ ）
   19              self.crawler_process.start（）

  crawlall.py

• settings.pyで=「プロジェクト名を。ディレクトリ名」を設定COMMANDS_MODULEを追加
• プロジェクトディレクトリでコマンドを実行します。scrapy crawlall

 シングル爬虫類：

インポートSYS
 から scrapy.cmdlineのインポートが実行

なら __name__ == ' __main__ ' ：
    （[実行" scrapy "、" クロール"、" chouti "、" --nologを" ]）