猫の兄弟はあなたが書くと抗爬虫類爬虫類爬虫類ことを教えます048--

米国の反クローラ。ほとんどすべてのアンチ爬虫類の技術スタッフのコンセンサスがあります。いわゆる抗クローラを、クローラは完全に排除されることはありません。しかし、方法を見つけるために、許容範囲内のトラフィックの爬虫類を制限するために、それはあまりにも無謀なことせてはいけないし。

理由は簡単です。爬虫類は最終的にコードを書いた、と区別せずにネットワークへの実際のアクセス権を持っています。人や爬虫類を判断することが完全にできないエンドサーバー。あなたは完全に爬虫類を禁止したい場合は、通常のユーザーがアクセスできなくなります。私は、禁止ではなく、制限する方法を考えることができます。

だから、私たちはどのような「反爬虫類」技術を理解することができ、その後に対処する方法を考える「抗爬虫類。」

一部のサイトではリクエストヘッダを制限する、すなわち、Request Headers私たちが埋めるために行ったこと、user-agent時々で埋めるために、自分のアイデンティティを宣言originし、referer要求元の宣言。

**一部のサイトではあなたにアクセス権を与えることはありません、ロギングなしでログインが制限されます。**その後、我々は使用cookiesしてsessionログインをシミュレートするための知識。

一部のサイトでは、次のようないくつかの複雑な相互作用、行いますログインを停止するには、「認証コード」を設定します。難しいこの比較は、二つの一般的な解決策がある：我々が使用するSelenium手動の確認コードを、いくつかの画像処理ライブラリとの自動識別コード（tesserocr / pytesserart /枕）。

一部のサイトでは、IPの制限を行います、それは何を意味するのでしょうか？我々は通常、インターネットでは、IPアドレスを運ぶ必要があります。IPアドレスは、電話番号（アドレスコード）のようなものです：誰かの電話番号を使用すると、あなたは彼を呼び出すことができます。同様に、デバイスのIPアドレスを使用して、あなたは、デバイスと通信することができるようになります。

検索エンジン「IP」を使って、あなたはそれらのIPアドレスを見ることができます。

ウェブサイトのクロール頻度のIPアドレスが高すぎる場合、サーバはなり一時的にブロックこのIPアドレスからのリクエストを。

解決策は2つあります：爬虫類の速度を制限するtime.sleep（）を使用して、IPエージェント・プールを確立し、IPを使用することを変更するために使用することはできません（使用可能なIPネットワークエージェントを検索することができます）。

上記は、最も一般的な抗爬虫類の市場戦略とそれに対応する対処方法です。あなたは何が本当にあなたが止めることはできないことがわかります。この正の文を確認：いわゆる抗クローラは、クローラが完全に排除されることはありません。しかし、許容範囲内の爬虫類のトラフィックを制限するために、それはあまりにも無謀なことさせない方法を見つけること。

クイックジャンプ：

ます。https：//juejin.im/post/5cfc4adef265da1ba328b780で再現

猫の兄弟はあなたが書くと抗爬虫類爬虫類爬虫類ことを教えます048--

だから、私たちはどのような「反爬虫類」技術を理解することができ、その後に対処する方法を考える「抗爬虫類。」

一部のサイトではリクエストヘッダを制限する、すなわち、`Request Headers`私たちが埋めるために行ったこと、`user-agent`時々で埋めるために、自分のアイデンティティを宣言`origin`し、`referer`要求元の宣言。

一部のサイトではあなたにアクセス権を与えることはありません、ロギングなしでログインが制限されます。その後、我々は使用`cookies`して`session`ログインをシミュレートするための知識。

検索エンジン「IP」を使って、あなたはそれらのIPアドレスを見ることができます。

ウェブサイトのクロール頻度のIPアドレスが高すぎる場合、サーバはなり一時的にブロックこのIPアドレスからのリクエストを。

クイックジャンプ：

おすすめ

猫の兄弟はあなたが書くと抗爬虫類爬虫類爬虫類ことを教えます048--

だから、私たちはどのような「反爬虫類」技術を理解することができ、その後に対処する方法を考える「抗爬虫類。」

一部のサイトではリクエストヘッダを制限する、すなわち、Request Headers私たちが埋めるために行ったこと、user-agent時々で埋めるために、自分のアイデンティティを宣言originし、referer要求元の宣言。

**一部のサイトではあなたにアクセス権を与えることはありません、ロギングなしでログインが制限されます。**その後、我々は使用cookiesしてsessionログインをシミュレートするための知識。

検索エンジン「IP」を使って、あなたはそれらのIPアドレスを見ることができます。

ウェブサイトのクロール頻度のIPアドレスが高すぎる場合、サーバはなり一時的にブロックこのIPアドレスからのリクエストを。

クイックジャンプ：

おすすめ

一部のサイトではリクエストヘッダを制限する、すなわち、`Request Headers`私たちが埋めるために行ったこと、`user-agent`時々で埋めるために、自分のアイデンティティを宣言`origin`し、`referer`要求元の宣言。

一部のサイトではあなたにアクセス権を与えることはありません、ロギングなしでログインが制限されます。その後、我々は使用`cookies`して`session`ログインをシミュレートするための知識。