爬虫類小さな例

Bingの翻訳、POSTリクエスト

インポート要求

＃必应翻译 
URL = " https://cn.bing.com/tlookupv3?isVertical=1&&IG=AC43A2DD353A42D292C13DA2ED005444&IID=translator.5028.2 " 

FORMDATA = {
     ' から'：' エン' 、
     ' へ'：" ZH-ハンス「」テキスト「：」犬「
} 
ヘッダー = { 」ユーザーエージェント「：」
Mozilla / 5.0（Windows NTの10.0; Win64の、のx64）のAppleWebKit / 537.36（KHTML、ヤモリ等）クローム/ 75.0.3770.142サファリ/ 537.36 ' } 

RES = requests.post（URL = URL、ヘッダー=ヘッダ、データ= FORMDATA）

印刷（res.json（））
 プリント（res.text）

代理

＃！は/ usr / binに/パイソンのenv 
＃ - * -コーディング：UTF-8 - * - 
インポート要求
のインポートランダムに
__name__のIF == "__main__"：
    ＃UA異なるブラウザ
    header_list = [ 
        ＃旅行
        { "ユーザーエージェント" ： "（互換; MSIE 7.0; Windows NTの5.1; 2.0 Maxthonの）のMozilla / 4.0"}、
        ＃Firefoxの
        { "ユーザエージェント"： "はMozilla / 5.0（のWindows NT 6.1; RV：2.0.1）のGecko / 20100101 Firefoxの/ 4.0.1 "}、
        ＃Googleの
        { 
            "のUser-Agent "：" Mozillaの/ 5.0（Macintosh版、インテルのMac OS X-10_7_0）のAppleWebKit / 535.11（ヤモリのようにKHTML、）クローム/ 17.0.963.56サファリ/ 535.11「} 
    ] 
    異なる＃プロキシのIP 
    proxy_list = [ 
        { "HTTP"。"112.115.57.20:3128"}、
        { 'HTTP'： '121.41.171.223:3128'} 121.41.171.223:3128' } 
    ]
    ＃ランダムエージェントUAとIPの取得
    = random.choice（header_list）ヘッダを
    プロキシrandom.choice =（proxy_list）

    URL =「http://www.baidu.com/sを？。IE = UTF-IP 8＆WD = ' 
    ＃3パラメータ：エージェント設定
    レスポンス= requests.get（URL = URL、ヘッダ=ヘッダ、プロキシ=プロキシ）
    response.encoding =' UTF-8 ' 
    
    オープンで（' 'daili.html 、FPとしての'WB'）：
        fp.write（response.content）＃
    は、元のIPに切り替え
    requests.get（URL、プロキシ= { "HTTP"： ""}）

ログインページのクロール--cookie

インポート要求
 から lxmlのインポートetreeの

ヘッダー = {
     " User--エージェント"：" ;のAppleWebKit / 537.36（KHTML、ヤモリ等）クローム/ 70.0.3538.67サファリ/ 537.36のMozilla / 5.0（WOW64のWindows NT 10.0）" 
} 
＃1着陸操作は、サーバーは、現在のユーザー（現在のステータス情報を格納するために、ユーザ、および同一性）のためにクッキーオブジェクトを作成します
。＃現在のユーザーの個人的なホームページデータを取得するために、2の要求個人用のホーム・ページ（ステップ1で作成したクッキーを運びます）

＃のログ
 ＃ログイン要求のURL（可能なパケットキャプチャツールを介して） 
LOGIN_URL = " http://www.renren.com/ajaxLogin/login?1=1&uniqueTimestamp=2018922053679 " 
セッション = requests.session（）  ＃＃は、セッションオブジェクトを作成し、オブジェクトは自動的にCookieストアを要求し、運ぶ 
データ= {
     「captcha_type 」：「web_login 」、
     「ドメイン」：「renren.com 」、
     「電子メールで」：「18829037944 」、
     " Fを"：" " " ICODE "：" " " のkey_id "：" 1 " 、
    " origURL "：" Http://www.renren.com/home " 、
     " パスワード"：" 30f28dff42c847e99969e7e91f8356bcb80aa2e9993893add81b6ff76c899be3 " 、
     " RKEY "：" f1ace095ea75f09850cbb28b87a04b9e " 、
} 
session.post（URL = LOGIN_URL、データ=データ、ヘッダ=ヘッダ）＃を  使用セッションリクエストを送信し、目的は、要求セッションCookie回保存することです

GET_URL = 「http://www.renren.com/968520666/profile 」
＃は  、再び要求はすでにクッキーを運ぶ今回リクエストを送信するためにセッションを使用して 
レスポンスを= session.get（URL = GET_URL、ヘッダー= ヘッダ）
＃は応答で符号化フォーマットの内容を設定 
response.encoding = 「UTF-8 」
page_text = response.text 

＃応答コンテンツファイルが書き込まれる 
オープン（と「./renren01.html 」、「W 」、符号化= 「UTF-8 」）FP AS：
    fp.write（response.text）
    印刷（" オーバー"）

おすすめ