使用するのは簡単crawlscrapy
1.プロジェクトの作成:
scrapy startprojectのプロジェクト名
、例えば:
scrapy startprojectのwxAppを
窓の下では、などのプロジェクトパスにcmdを
D:\ pythonCode \ spiderProject> scrapy startprojectのwxapp
wxappと呼ばれるプロジェクトを作成します。
2.クローラーを作成するコマンドを使用します:
爬虫類名のURLをクロールscrapy genspider必要
scrapy genspider -tクロールwxapp_spider「wxapp-union.com」
注意:爬虫類名がプロジェクトと同じにすることはできません
プロジェクトのディレクトリに
D:\ pythonCode \ spiderProject> CDの wxapp
爬虫類の作成
dは:\ pythonCode \ spiderProject \ wxapp > scrapy genspider -tクロールwxapp_spider "wxapp-union.com"
コマンドが実行された後、D:\ pythonCode \ spiderProject \ wxapp \ wxappスパイダー\ \、世代wxapp_spider.py
3. wxapp_spider.pyファイルを変更します。