爬虫類と治療に関する一般的な抗登ります

1.robots契約:scrapyに使用され、falseに設定

2.UA検出:アクセス・ヘッダは、ユーザエージェントのパラメータがあることができる運び

その後、若干のトラブル、時々これらのコードは、セットクッキーになり、各リフレッシュすべての変更のクッキー、ページ全体のスクリーンショットのような使用のsave_screensot、絵を見つける:3シミュレートされた検出コード検証中に着陸その後、インターセプトモジュールPIL検証コード画像に位置座標を使用して、位置座標を算出し、クリックされたときに、このシミュレーションは、プレイヤードプラットフォームは、自分自身で、このために見て絵の内容を解析することができます

4.cookie:マニュアル、その後、あなたはヘッダにクッキーのパラメータを追加、またはrequests.Sessionを(使用)のページにアクセスすることができますが、クッキーを取得することができるようになります

5.ip:サーバは、このような時の高周波短期間へのアクセスを禁止するよう、ライン上での使用のIPプールをIPアクセス制限を行いますが、IPアドレスのプールを自分で行う必要があり、または買い

6.動的にデータをロードする:あなたは、マウスをスライドさせたり、再びデータの前に多くの時間のための要求をクリックすると、このURLは、通常、固定パラメータがリクエストで指定されている運ぶ、彼らの練習

7.画像の遅延ロード:これは、ページにアクセスすると、最初の部分が返されたときに、他のコンテンツは、不動産に、再び擬似プロパティを疑似属性、トリガを与える、使用済みのJSです。このような接触は真であるか、または疑似属性のプロパティことができます

8.js混乱:jsのコードは、これはアンチエイリアシングサイトの缶に直接貼り付け、混沌としたもののペアのよう返さ

9.jsリバース:トリガ・イベントは、現在、多くのサイトでは、フロントエンドでページのコンテンツへの結合現象を逆に、スライドまたはページをクリックしてJSを使用して起動し、指定されたコンテンツの内容を返すようにリクエストを送信している、といくつかは、フロントになります暗号化、溶液をローカルJSへダウンロードすることexcejs JS関数の使用動作、パラメータが文字列パラメータを搬送するためにフォーマットされたJSON、アナログデータJSコードが実行されるリターンを行います

おすすめ

転載: www.cnblogs.com/blackball9/p/11923179.html