爬虫類 - プロキシを使用 - コードワールド

プロキシIPを使用します

プロキシを使用して、要求

　　代理店は辞書を構築する必要があり、その後、パラメータを設定することにより、プロキシができる要求。

インポート要求

プロキシ = ' 60.186.9.233 ' 
プロキシ = {
     ' HTTP '：' のhttp：// ' + プロキシ、
     ' HTTPS '：' https：//で' + プロキシ
} 
してみてください：
    RES = requests.get（" のhttp：/ /httpbin.org/get 'プロキシの=のプロキシ）
     プリント（res.text）
 以外Eとしてrequests.exceptions.ConnectionError：
     プリント（'エラー"、e.args）

結果：

{
   " 引数" ：{}、 
   " ヘッダ" ：{
     " 受け入れ"：" * / * " 、 
     " 符号化を受け入れ、"：" GZIPを収縮させる" 、 
     " ホスト"：" httpbin.org " 、 
     " ユーザエージェント"：" のpython-リクエスト/ 2.18.4 " 
  }、
  " 起源"：" 60.186.9。233 " "URL "：" https://httpbin.org/get " 
}

　　その業績の起源は、プロキシIPされ、プロキシ設定が成功を説明します。プロキシ認証が必要な場合、エージェントは、ユーザー名・パスワードが先行します。

プロキシ= ' ユーザ名：[email protected] '

プロキシを使用して2つ、セレン

　　セレンはまた、プロキシを設定することができ、一方は、例えば、ブラウザインタフェース、クロム、であり、他はPhantomJS例にヘッドレスブラウザです。

Chromeブラウザの設定

　　オブジェクトが作成されたとき、chrome_optionsでプロキシを設定するにはChromeがchrome_options転送パラメータを使用することができます。コードは、Chromeブラウザをポップアップ表示アクセス接続した後、以下の結果が表示されます実行します。

＃のクロム代理设置
からセレン輸入webdriverをする

プロキシ = ' 60.186.9.233 ' 
chrome_options = webdriver.ChromeOptions（）
chrome_options.add_argument（' --proxy-サーバー=のhttp：// ' + プロキシ）
ブラウザ = webdriver.Chrome（chrome_options = chrome_options ）
RES = browser.get（' http://httpbin.org/get '）

{
   " 引数" ：{}、 
   " ヘッダ" ：{
     " 受け入れ"：" text / htmlの、アプリケーション/ XHTML + xmlの、アプリケーション/ XML、Q = 0.9、画像/ WEBP、画像/ APNG、* / *; Q = 0.8 " " 符号化を受け入れ、 "：" GZIPを収縮させる" " 言語を受け入れ、 "：" ZH ZH-CN、; Q = 0.9 " " ホスト"：" httpbin.orgを" "アップグレード・安全でない、要求」：" 1 " 、 
     " ユーザーエージェント"：" はMozilla / 5.0（Windows NTの10.0; WOW64）のAppleWebKit / 537.36（KHTML、ヤモリ等）クローム/ 70.0.3538.110サファリ/ 537.36 " 
  }、
  " 起源"：" 60.186.9.233 " " URL "：" https://httpbin.org/get " 
}

PhantomJS設定

　　Service_argsは、コマンドラインパラメータは、それをPhantomJSするために初期化時に渡されたパラメータの一部のリストとして定義されます。

＃PhantomJs代理设置
からセレンインポートwebdriverを

service_args = [
     ' --proxy = 60.186.9.233 ' 、
     ' --proxy型= HTTP ' 
] 
ブラウザ = webdriver.PhantomJS（service_args = service_args）
browser.get（' のhttp：// httpbin.org/get " ）
 プリント（browser.page_source）

結果：

{
   " 引数" ：{}、 
   " ヘッダ" ：{
     " 受け入れ"：" text / htmlの、アプリケーション/ XHTML + xmlの、アプリケーション/ XML、Q = 0.9、画像/ WEBP、画像/ APNG、* / *; Q = 0.8 " " 符号化を受け入れ、 "：" GZIPを収縮させる" " 言語を受け入れ、 "：" ZH ZH-CN、; Q = 0.9 " " ホスト"：" httpbin.orgを" "アップグレード・安全でない、要求」：" 1 " 、 
     " ユーザーエージェント"：" はMozilla / 5.0（Windows NTの10.0; WOW64）のAppleWebKit / 537.36（KHTML、ヤモリ等）クローム/ 70.0.3538.110サファリ/ 537.36 " 
  }、
  " 起源"：" 60.186.9.233 " " URL "：" https://httpbin.org/get " 
}

認証が必要な場合は、service_argsパラメータで--proxy-AUTHオプションを追加しました。

service_args = [
     ' --proxy = 60.186.9.233 ' 、
     ' --proxy型=のhttp ' 、
     ' --proxy-AUTH =ユーザ名：パスワード' 
]