使用するのは簡単crawlscrapy

使用するのは簡単crawlscrapy

1.プロジェクトの作成:
scrapy startprojectのプロジェクト名
、例えば:
scrapy startprojectのwxAppを

窓の下では、などのプロジェクトパスにcmdを
D:\ pythonCode \ spiderProject> scrapy startprojectのwxapp
wxappと呼ばれるプロジェクトを作成します。

2.クローラーを作成するコマンドを使用します:
爬虫類名のURLをクロールscrapy genspider必要
scrapy genspider -tクロールwxapp_spider「wxapp-union.com」

注意:爬虫類名がプロジェクトと同じにすることはできません
プロジェクトのディレクトリに
D:\ pythonCode \ spiderProject> CDの wxapp
爬虫類の作成
dは:\ pythonCode \ spiderProject \ wxapp > scrapy genspider -tクロールwxapp_spider "wxapp-union.com"

コマンドが実行された後、D:\ pythonCode \ spiderProject \ wxapp \ wxappスパイダー\ \、世代wxapp_spider.py


3. wxapp_spider.pyファイルを変更します。

おすすめ

転載: www.cnblogs.com/WebLinuxStudy/p/11613788.html