Pythonクローラー-プロキシIP

プロキシ：IPアンチクライミングメカニズムをクラックします。

プロキシとは：

• プロキシサーバー。

エージェントの役割：

• 独自のIPアクセスの制限を突破します。
• あなたの本当のIPを隠す

プロキシ関連のWebサイト：
-即効性

• Xiciエージェント
• www.goubanjia.com
• https://ip.jiangxianli.com/?page=1

プロキシIPのタイプ：

• http：httpプロトコルに対応するURLに適用されます
• https：httpsプロトコルに対応するURLに適用されます

プロキシIPの匿名性：

• 透過的：サーバーは、要求がプロキシを使用していることを認識しており、要求に対応する実際のIPも認識しています。
• 匿名：プロキシが使用されていることはわかっているが、実際のIPはわからない
• Gao An：実際のIPは言うまでもなく、プロキシが使用されているかどうかはわかりません

クローラーでのエージェントの適用：

import requests


url = 'http://ip.293.net'
headers = {
    
    
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.150 Safari/537.36'
    }
# page_text = requests.get(url=url, headers=headers).text
page_text = requests.get(url=url, headers=headers, proxies={
    
    "http":'51.91.122.208:80'}).text

with open('ip.html', 'w', encoding='utf-8') as fp:
    fp.write(page_text)