基本概要：
1.どのようなクローラはありますか？
自動的にクロールし、一定のルールに従っているウェブ情報プログラムやスクリプトを。
2.クローラ式
（1）一般的な爬虫類：簡単な用語が可能であり、ダウンロードされたインターネット上のすべてのページが、最終的には（広告を削除し、抽出キーワードを）これらのページに関連する治療を行い、バックアップの形成にローカルサーバを置き、これは、ユーザーの検索インタフェースを提供します。
（2）クローラを重視：クロールは、それが最も一般的な爬虫類で、指定されたページの内容を指定します。
（3）インクリメンタル爬虫類は：スキャン地元では、URL、URLのクロール新しく追加されたページをクロール。ページを更新するために、データのダウンロードを削減することは、時間と空間でのコストを削減するために、クロールする必要がありますが、クロールのアルゴリズムと実装難易度の複雑さを増します。
（4）ディープWebクローラーは：検索フォームに隠されたクロールは、唯一のユーザーは、いくつかのキーワードを取得するには、Webページを送信し、フォームに記入した後、分析爬虫類クロール。
3.アンチ爬虫類手段（荒れ狂うクマの子供からの抜粋 https://www.jianshu.com/p/afd873a42b2d）
.BAN IP
運用・保守要員は、最近の一つの特定のIPトラフィックを分析することによって、ログページを見つけ、多数のウェブページを訪問する一定の期間特に大きい、運用、保守担当者は、このような行動は通常の動作をアクセスしていないことを決定し、これを直接サーバー上のIPこの人をブロックしました。
解決策：他のユーザーが特定の領域は、サーバーへのはるかに少ない通常のユーザアクセス、その結果、同じIPを持っている可能性があるため、この方法では、誤って他の正常なユーザーを傷つけることが非常に簡単ですので、一般的な操作や保守担当者は、このメソッドの爬虫類によって制限されることはありません。しかし、アクセスの多くの多くの顔は、サーバーは、まだ時折時間をかけて、IPのブラックリストを入れて、それを出して、私たちは、クロール分散や購買エージェントIPに良い解決策になることができますが、爬虫類コストが増加しました。
二.BAN USERAGENT
多くの爬虫類リクエストヘッダには、いくつかの非常に明白な爬虫類の頭のpython-要求/ 2.18.4のデフォルトであり、運用・保守要員がパケットヘッダのこのタイプを持ったときに、直接アクセス拒否が403エラーを返すように
溶液：ダイレクトR = requests.get（URL、ヘッダー= {「のUser-Agent」：「XXXspider」}）要求ヘッダークローラ別のブラウザまたはラインヘッド上の別のクローラーを偽装。
ケース：スノーボール・ネットワーク
三.BAN COOKIES
Webページにアクセスするそれぞれの人のためのサーバーのクッキーは一定期間にわたってCOOKIEアウトBANに一定の閾値以上へのアクセスを、そのクッキーの一つに、クッキーを設定して出して、コースの爬虫類のされているが、通常はCOOKIEせずに行われています訪問が、そのような新浪微博のユーザーのログインなどのWebページの内容の一部は、（私が追いついてきた）詳細を参照するために必要とされる存在です。
ソリューション：コントロールアクセス速度、または、新浪微博としてログイン宝物に複数のアカウントを購入し、複数のクッキーを生成し、すべての訪問でクッキーを持って来るためにいくつかの必要性
ケース：アリの巣。
IV。CAPTCHA
ユーザーがあまりにも訪れると、自動的にのみ正しいコードを入力した後に、サイトへのアクセスを継続するために、検証コードページを許可するように要求にジャンプします
解決策：可能な限りのpython（pytesser、PIL）は、コードの検証プロセスのために、サードパーティのライブラリの数によって行われ、正しいコードを識別し、コードがクローラが自動的に複雑なコードを識別できるようにする機械学習によって複雑にすることができ、プログラムが自動的に認識しましょうそして、自動的にクロールし続けてPINコードを入力してください
ケース：51Jobの乗客の安全
ファイブ.javascriptレンダリング
Web開発者は、Webページ上で重要な情報となりますが、HTMLタグを記述せず、ブラウザが自動的にjsのコード情報は、爬虫類がjsのコードを実行するために装備されていない一方で、ブラウザに提示された<script>タグをレンダリングします情報は、イベント生成JSを読み出すことができません
ソリューション：直接定期的な試合内容によって情報を抽出したりするためのスクリプトを解析することにより、抽出されたjsのコードは、webdriverをの+を介してWebページをレンダリングするヘッドレスブラウザをphantomjs。
ケース：安心して将来のネットワーク
ちょうどそれにアクセスするためのrequests.getと直接安心今後の作業のインターフェイスを開く、あなたは明らかに不完全であった20かそこらのデータのいずれかを取得し、50の完全なジョブ情報を取得することができますwebdriverをして、同じページにアクセスすることができます。
シックス・アヤックス非同期転送
访问网页的时候服务器将网页框架返回给客户端，在与客户端交互的过程中通过异步ajax技术传输数据包到客户端，呈现在网页上，爬虫直接抓取的话信息为空
解决办法：通过fiddler或是wireshark抓包分析ajax请求的界面，然后自己通过规律仿造服务器构造一个请求访问服务器得到返回的真实数据包。
案例：拉勾网
打开拉勾网的某一个工作招聘页，可以看到许许多多的招聘信息数据，点击下一页后发现页面框架不变化，url地址不变，而其中的每个招聘数据发生了变化，通过chrome开发者工具抓包找到了一个叫请求了一个叫做http://www.lagou.com/zhaopin/Java/2/?filterOption=3的网页，打开改网页发现为第二页真正的数据源，通过仿造请求可以抓取每一页的数据。
七.加速乐
有些网站使用了加速乐的服务，在访问之前先判断客户端的cookie正不正确。如果不正确，返回521状态码，set-cookie并且返回一段js代码通过浏览器执行后又可以生成一个cookie，只有这两个cookie一起发送给服务器，才会返回正确的网页内容。
解决办法 ：将浏览器返回的js代码放在一个字符串中，然后利用nodejs对这段代码进行反压缩，然后对局部的信息进行解密，得到关键信息放入下一次访问请求的头部中。
案例：加速乐
这样的一个交互过程仅仅用python的requests库是解决不了的，经过查阅资料，有两种解决办法：
1.将返回的set-cookie获取到之后再通过脚本执行返回的eval加密的js代码，将代码中生成的cookie与之前set-cookie联合发送给服务器就可以返回正确的内容，即状态码从521变成了200。
2.将返回的set-cookie获取到之后再通过脚本执行返回的eval加密的js代码，将代码中生成的cookie与之前set-cookie联合发送给服务器就可以返回正确的内容，即状态码从521变成了200。