爬虫類ケース医薬品ログイン映像遅延ロード空間シミュレーションQQ(セレン)

写真遅延ロード

#图片懒加载

からlxmlのインポートetreeの
インポート要求

ヘッダー = {
     ' のUser-Agent '' のMozilla / 5.0(Windows NTの10.0; Win64の、のx64)のAppleWebKit / 537.36(KHTML、ヤモリ等)クローム/ 76.0.3809.87サファリ/ 537.36 [ 
} 

URL = ' http://sc.chinaz.com/tupian/fengjingtupian_%d.html ' 

FP =オープン(' fengjing.txt '' W '、符号化= ' UTF-8 ' のためのページ範囲(15):
     もしページ== 1 
        NEW_URL = ' http://sc.chinaz.com/tupian/fengjingtupian.html ' 
    
        NEW_URL =フォーマット(URLの%ページ)

    page_text =要求。取得(URL = NEW_URL、ヘッダ= ヘッダ).textの = etree.HTML(page_text)
    div_list = tree.xpath(' // * / divの[ID = "コンテナ" @] ' のためのdiv div_list:
        img_title = DIV .xpath(' ./p/a/text()')[ 0] .encode(' ISO-8859-1 ').decode(' UTF-8 ' 

        #图片懒加载
        img_src = div.xpath(' ./ DIV / A / IMG / @ SRC2 ')[ 0 ] 

        コンテンツ = img_title + ' ' + img_src + ' \ n ' 
        fp.write(コンテンツ)

fp.close()

QQスペースシミュレーションログイン

セレンインポートwebdriverを
 からの時間インポート睡眠

#指定驱动位置
ドライバ = webdriver.Chrome(executable_path = ' chromedriver.exe ' 


URL = ' https://qzone.qq.com/ ' 
ドライバー。取得(URL)

driver.switch_to.frame(' login_frame ' 
、M = driver.find_element_by_id(' switcher_plogin ' 
プリント(メートル)
m.click()

driver.find_element_by_id(' U ').send_keys(' 用户名'
driver.find_element_by_id(' P ').send_keys(' 密码' 

driver.find_element_by_id(' login_button ' ).click()

睡眠(3 

page_text = driver.page_source 
プリント(page_text)



driver.quit()

 #薬物使用のセレンクロールホーム事業名の医薬品局(1 - 5)

セレンインポートwebdriverを
 からの時間インポートSLEEP 

#は、ブラウザのドライバの指定
ドライバー = webdriver.Chrome(= R&LTのexecutable_path ' chromedriver.exe ' 

のGETと#開いているページ
ドライバを。GET" http://125.35.6.84:81/xk/ ' 
FP =オープン(' 製薬会社の.txt ' ' W 'エンコード= ' UTF-8 ' のためのページ範囲(16 ):
     IFページ== 1。
        パス = ' pageIto_first ' 
    他に
        パス = F ' pageIto_firstページ{} '   #のWYSIWYGの
    driver.find_element_by_id(パス).click()
    SLEEP(3 
    a_list = driver.find_elements_by_xpath(" // * [@ ID =" gzlist「] /リー/ DL / A ' のためa_list:
        MSG = a.text 
        fp.write(MSG + ' \ N- ' 
    印刷(F ' {ページ}取得したページデータの完了'
  

fp.close() driver.close()

 

おすすめ

転載: www.cnblogs.com/XLHIT/p/11316743.html