Scrapyフレームワーク：基本的なコマンド

クローラプロジェクトを作成します。1.

scrapy startproject [项目名称]

ファイル爬虫類を作成します。2.

scrapy genspider +文件名+网址

3.ファイル名を指定して実行（クロール）

scrapy crawl 爬虫名称

# -o  output 输出数据到文件
scrapy crawl [爬虫名称] -o zufang.json
scrapy crawl [爬虫名称] -o zufang.csv

エラーの4.checkチェック

scrapy check

すべての項目返さクモ5.list

scrapy list

6.viewストレージ、ページを開きます

scrapy view http://www.baidu.com

7.scrapyシェルは、ターミナルを入力します。

scrapy shell https://www.baidu.com

8.scrapyのrunspider

scrapy runspider zufang_spider.py