爬虫類04-クッキー

1.cookieの使用状況

1.cookie用法
urllibはインポート要求から

dapeng_url = "http://www.renren.com/880151247/profile" 
ヘッダー= { 
    "ユーザエージェント"の"Mozilla / 5.0（Windows NTの10.0; WOW64）のAppleWebKit / 537.36（KHTML 、のGecko）クローム/ 65.0.3325.181サファリ/ 537.36"のように、
    jebe_key = 4cd0ae48-b241-48a7-a029-1b6d9f412d1f％7C79960deff086b3597e7cca906ae5feaa％7C1583892666540％7C1％7C1583892665559。wp_fold = 0; jebecookies = 7dc27970-341a-46da-a15f-09d125d1b9ca |||||」
} 
REQ = request.Request（URL = dapeng_url、ヘッダー=ヘッダ）
RESP = request.urlopen（REQ）
FPとして（ "renren.html"、 "W"は、コード= "UTF-8"）のオープンを持つ：
    #write写入的是STR格式
    fp.write（resp.read（）。デコード（ "UTF-8"））

CookieJarを使用して2.ログイン

urllibはインポート要求から
http.cookiejarインポートをCookieJarから
urllibはインポートから解析
dapeng_url = "http://www.renren.com/880151247/profile" 
LOGIN_URL = "http://www.renren.com/PLogin.do" 
ヘッダー= { 
    "ユーザエージェント"の"Mozilla / 5.0（Windows NTの10.0; WOW64）のAppleWebKit / 537.36（ヤモリ様KHTML）クローム/ 65.0.3325.181サファリ/ 537.36"} 
データ= { 
    "メール"：「[email protected] 」、
    "パスワード"： "980885033 ..." 
} 
デフget_opener（）：
    ＃1登录。
    ＃1.1创建一个をCookieJar对象
    をCookieJar =をCookieJar（）
    ＃1.2使用をCookieJar创建一个HTTPCookieProcess对象
    ハンドラ=要求。HTTPCookieProcessor（をCookieJar） 
    オープナー= request.build_opener（ハンドラ）

HTTPCookieProcessor（をCookieJar） 
    ステップ＃1.3の使用については、ハンドラオープナーを作成するために作成されました 
    戻りオープナー

DEF login_renren（オープナー）：
    ログイン要求用いて送信＃1.4オープナー
    REQ = request.Request（LOGIN_URL、データ= parse.urlencode（データ）.encode（ "UTF-8"）、 ヘッダ=ヘッダ）
    opener.open（REQ）

DEF visit_profile（オープナー）： 
    。＃2 アクセスプロファイルの
    新しいオープナーは、使用する前に良いオープナーを作成しないようにする場合＃は個人用のホーム・ページを取得
    REQ = request.Request（dapeng_urlを、ヘッダヘッダー=）
    RESP = opener.open（REQ）
    AS FP）を開く（ "renren2.html"、 "W"、コード=と"UTF-8"：
        fp.write（resp.read（）。デコード（「UTF- 8「））

IF __name__ == '__main__'：
    オープナーget_opener =（）
    login_renren（オープナー）
    visit_profile（オープナー）

3.アクセスクッキー情報

urllibはインポート要求から
http.cookiejar輸入MozillaCookieJarから
＃1。存储クッキー文件
＃をCookieJar = MozillaCookieJar（ "他の/のcookie.txt"） 
＃ハンドラ= request.HTTPCookieProcessor（をCookieJar） 
＃オープナー= request.build_opener（ハンドラ）
＃
＃RESP = opener.open（ "http://www.baidu.com"）
＃cookiejar.save（ignore_discard = TRUE）＃保存过期的クッキー信息

＃2。加载クッキー
のCookieJar = MozillaCookieJar（ "他の/のcookie.txt"）
をCookieJar .LOAD（ignore_discard = TRUE）＃过期的クッキー也加载
ハンドラ= request.HTTPCookieProcessor（をCookieJar）
オープナー= request.build_opener（ハンドラ）

RESP = opener.open（ "http://www.baidu.com"）
でCookieのCookieJar：
    プリント（クッキー）

おすすめ