クロールするscrapyフレームワークを使用する理由

Pythonの爬虫類では:使用が要求+セレンは爬虫類のニーズのほぼ90%を解決することができ、その後、scrapyはそれの残りの10%を解決するのですか?

  これはscrapyフレームワークは、Googleのクローラは、より強力な、より効率的なプレゼンスを有効にすることですので、我々はscrapyフレームワークをよく見て必要がある、明らかにそうではありません。

 

 

scrapyアプリケーションフレームワークは、書かれた構造化データを抽出し、データをクロールするためのウェブサイトです  

  フレームワーク:のみいくつかのモジュールの開発をカスタマイズする必要があるユーザーは、簡単にWebコンテンツや画像の様々をクロールするために使用さ爬虫類を、達成することができます

 

これは、多くのシナリオで使用することができます:

  プログラムなどのデータマイニング、情報の処理、履歴データを記憶する、一連のscrapy使用は、ネットワーク・トラフィック、明確な構造を処理する非同期ネットワークライブラリねじれ、およびミドルウェアインタフェースの様々な含まれ、ニーズの多様を完了するための柔軟性

おすすめ

転載: www.cnblogs.com/tulintao/p/11588680.html