scrapyクロールを使用してフレームデータ。top250部門IMDBのデータには、例えば、理解のためscrapyフレームワークを深めることを学びます。
URL scrapy教育学習の推薦フレームワークムークラスのネットワーク:https://www.imooc.com/learn/1017
宛先アドレス:https://movie.douban.com/top250
成功の実装はディレクトリに作成爬虫類プロジェクトを見つけることができた後、IMDBの爬虫類の作成
scrapy startprojectのdoubanMovie
そして、爬虫類のプロジェクトファイルを入力し、ファイル生成クローラーを作成するためにコマンドを使用して、データ・ページ機能を実装するためのクロール
#プロジェクトファイルの中へ CD doubanMovie #クロールデータファイルを作成 scrapy genspider doubanMovieSpider movie.douban.com
あなたは成功の実装後に作成された爬虫類のファイルを見ることができます
これまでのところ、プロジェクトが作成されている、次のステップは、データ機能をクロール実現することです。
データ、すべての最初のプロジェクトを起動して実行し、コマンドをクロールすることです:
scrapyクロールdoubanMovieSpider
しかし、時代とCMDウィンドウで実行された、それはmain.py缶という名前のプロジェクトにファイルを作成すること、面倒です。編集
main.py後のみのプロジェクトにファイルを実行する必要があります。プロジェクト全体は、この爬虫類が完了しています。
プロジェクトコードリンクアドレスします。https://files.cnblogs.com/files/no-end-to-learning/SpiderProject.zip