クローラベースの非同期は、スレッドプールをフェッチ

multiprocessing.dummy インポートプール#のスレッドプールモジュール

唯一のパラメータでなければなりません
DEFのmy_requests(URL):
     リターン requests.get(URL = URL、ヘッダ= .textセクションヘッダ)


を起動 = time.time()
のURL = [
     " HTTP ://127.0.0.1:5000 /ボボ' ' http://127.0.0.1:5000/jay ' ' http://127.0.0.1:5000/tom " 
] 
プール =プール(3。 )地図: 2つのパラメータ
#のパラメータ1:カスタム関数、一つだけのパラメータがあることができ
#のリストや辞書:パラメータ2
効果がマップに2またはカスタム辞書の表現に対応する機能素子1非同期処理パラメータのパラメータリストにすることです 
page_texes = pool.map(my_requests、URLの)
 印刷(page_texes)


印刷(time.timeを() -スタート)

 

おすすめ

転載: www.cnblogs.com/songzhixue/p/11303823.html