IMDBのtop250をクロールscrapyフレームワーク

scrapyクロールを使用してフレームデータ。top250部門IMDBのデータには、例えば、理解のためscrapyフレームワークを深めることを学びます。

URL scrapy教育学習の推薦フレームワークムークラスのネットワーク:https://www.imooc.com/learn/1017

宛先アドレス:https://movie.douban.com/top250 

成功の実装はディレクトリに作成爬虫類プロジェクトを見つけることができた後、IMDBの爬虫類の作成

scrapy startprojectのdoubanMovie

そして、爬虫類のプロジェクトファイルを入力し、ファイル生成クローラーを作成するためにコマンドを使用して、データ・ページ機能を実装するためのクロール

プロジェクトファイルの中へ
CD doubanMovie
 クロールデータファイルを作成 
scrapy genspider doubanMovieSpider movie.douban.com

あなたは成功の実装後に作成された爬虫類のファイルを見ることができます

 

 これまでのところ、プロジェクトが作成されている、次のステップは、データ機能をクロール実現することです。

 

データ、すべての最初のプロジェクトを起動して実行し、コマンドをクロールすることです:

scrapyクロールdoubanMovieSpider

 しかし、時代とCMDウィンドウで実行された、それはmain.py缶という名前のプロジェクトにファイルを作成すること、面倒です。編集

 main.py後のみのプロジェクトにファイルを実行する必要があります。プロジェクト全体は、この爬虫類が完了しています。

 プロジェクトコードリンクアドレスします。https://files.cnblogs.com/files/no-end-to-learning/SpiderProject.zip

おすすめ

転載: www.cnblogs.com/no-end-to-learning/p/11783372.html