Pythonの爬虫類では:使用が要求+セレンは爬虫類のニーズのほぼ90%を解決することができ、その後、scrapyはそれの残りの10%を解決するのですか?
これはscrapyフレームワークは、Googleのクローラは、より強力な、より効率的なプレゼンスを有効にすることですので、我々はscrapyフレームワークをよく見て必要がある、明らかにそうではありません。
scrapyアプリケーションフレームワークは、書かれた構造化データを抽出し、データをクロールするためのウェブサイトです
フレームワーク:のみいくつかのモジュールの開発をカスタマイズする必要があるユーザーは、簡単にWebコンテンツや画像の様々をクロールするために使用さ爬虫類を、達成することができます
これは、多くのシナリオで使用することができます:
プログラムなどのデータマイニング、情報の処理、履歴データを記憶する、一連のscrapy使用は、ネットワーク・トラフィック、明確な構造を処理する非同期ネットワークライブラリねじれ、およびミドルウェアインタフェースの様々な含まれ、ニーズの多様を完了するための柔軟性