爬虫類：
Webクローラーは、検索エンジンのクローリングシステム（Baiduのは、Googleなど）と不満重要な部分です。インターネット上のWebページの主な目的は、インターネットコンテンツの形式をミラーリング、ローカルにダウンロードされます。
ステップ：
最初のステップは：Webリンクを取得します。
以下のようなマルチクローリングWebページの変化を観察する必要がある基本的に変更のほんの一部である、1：URLの変更で一部のページのみ、最後の数、あなたがこの番号を変更することができますより多くのWebリンク取得;
リンクの2.複数のページ必要なときに関数呼び出しを通じて直接アクセスして、一時的なデータベースとして機能するように、辞書に入るために取得します。
クローラだけで、任意のWebサイトではないことに留意されたいが、登ることができ、我々は我々の契約爬虫類、私たちはクロールされていないことを多くのサイトを遵守する必要があります。以下のような：淘宝網、テンセントなど。
4.顔爬虫類の時代、各サイトは基本的に抗爬虫類のための適切なメカニズムを設定し、我々はアクセス拒否エラーメッセージ404が発生したとき、彼らのクローラーは、User-Agentによって買収を完了するために、個人的に作ったとして、変装することができますWebコンテンツの取得を実装するためにその情報へのアクセスではなく、プログラムと。
ステップ2：データストレージ
ページにクロール1.爬虫類、元のデータベースにページデータ。どこのページデータとHTMLを取得するには、ユーザーのブラウザがまったく同じです。
ページをクロール2.エンジンは、それがサイトへのアクセスの盗作が多数の場合には、いくつかの重複コンテンツの検出を行います収集やコンテンツをコピーし、非常に軽量で、それはもはやクロールないかもしれません。
3.データストレージは、私たちは、ファイルも短く、多くの形態でTXTまたはCSVファイルに保存することができ、また、一時的なモバイルデータベースに格納することができ、ローカルデータベースに保存することができ、多くの方法を持つことができます。
第三段階：前処理（データクリーニング）
1.我々は、データを取得する場合は、一部のデータは、多くのスペースとラベルの数、我々はデータを取り除きたい不要なもの、外観を改善するためのデータが存在しなければならない、通常は非常に厄介で、可用性;
2.また、視覚的にデータの内容を確認するためにモデルデータを視覚化するために私たちのソフトウェアを使用することができます。
第四段階：データを使用して、
私たちは、それによって、人的資源の無駄を節約し、市場調査の一種としてデータをクロールするだけでなく、多面的なメリットを比較して、最高の出会いに缶のニーズを達成することができます。
要約：
Pythonのデータを登るために使用することができますが、Pythonの爬虫類をするように設計されていない、Pythonはたくさんのことを行うことができます。それ爬虫類は、よくある質問などの爬虫類、それは書き込み、シンプル、高速なクッキーを取り扱い、スピードをクロール、検証コードに簡単だった、特定の利点を持っている簡単に使用することもあり、貴重な言語です。