例：軽量クロールデータの実現（データはページ全体をログに記録する必要はありません） - [Baiduの百科事典（pathon）に関連するデータ項目の1000ページ]
説明：爬虫類は、エントリのURL、URLに関連付けられたデータ、および自動的にインターネットの情報をクロールするプログラムです。
値：1、2、独自のデータ分析に資する、データ分類は、外部の専門的なデータ情報を提供することができます
1を、シンプルなアーキテクチャを爬虫類
- 爬虫類・アーキテクチャ・プロセス
爬虫類派遣----> URLマネージャ<-------------->ウェブのダウンローダ<-------------------万人の業界パーサが> --------------データの値が
2爬虫類アーキテクチャの動的なプロセス
2は、URLマネージャの
URLと管理が収集し、クロールURLのコレクションをスクランブル（予防、重複したクロールを防ぐためにフェッチサイクル）
実装：
パイソンは、MySQLデータベースメモリキャッシュデータベースRedisの
URLセットクロール有する：セット（）テーブル（URL、ID）セットは
URLをクロール設定されている：セット（）セット
[画像ダンプ外側リンク障害、ソースステーションは、セキュリティチェーン機構を有していてもよい、それは直接ダウンアップロードした写真を保存することをお勧めします（IMG-eITwl9US-1571590263248）（https://img2018.cnblogs.com/blog/1590744/201910/1590744-20191021003015937-1024137984.png）]
3、ウェブダウンローダ（urllib2の）
（）：対応するウェブページのURLがローカルツールにダウンロード
（2）：インターネットを"----- URL ------ HTML ----"ウェブダウンローダ（urllib2の、ツール要求）-------------------ローカルファイルまたはメモリストリング
（）：urllib2の実装:(）
第1、パッケージ2を導入し、直接要求読み取り3,4取得要求のステータスコードは、
第二の（データ、HTTPヘッダ ：1、URLデータおよびヘッダ----「はurllib2.Request -----------> urllib2.urlopen（リクエスト）
図5は、ヘッダ情報を追加し、リクエスト送信した結果、HTTP 1,2 Daobao、Uリクエスト3つのオブジェクトを愛する主な違い、追加データ4、
異なるシナリオの下でプロセッサ：第三に
ログインする必要がある：HTTPCookieProcessorは
でプロキシを必要と：にproxyHandlerは
暗号化SSLが必要です。HTTPSHandler
プレゼンスの関係が自動的にジャンプ：HTTPRedirectHandler
。4、ページパーサー（BeautifulSoup）
図5に示すように、コア・コード
