Pythonの爬虫類チュートリアル：「Pythonが表現パッケージをクロールして。」

Pythonの爬虫類チュートリアル：表現せずに、「Pythonは表現パッケージをクロールして」、マイクロチャネルパッケージ？心配しないでください！教師は〜マルチスレッドクロール爬虫類にキー式の20ワットパックを使用することができ導きました

プロジェクト出所：

1   
2  「'」
3を 、私はあなたが学習プロセスに追加することができますかわからない何
 4  、QunケリPythonの学習交流934 109 170
 5  グループを、良いチュートリアル、開発ツールと電子書籍があります。
6  共有のpython現在のビジネスニーズとあなたの才能とどのように良い、ゼロベースからの学習のpython、どのような内容を学びます。
。7  '' 
'8  から pyqueryのインポートPQ AS pyquery
 。9  インポート要求
 10  からのRedis インポートStrictRedis
 。11 O = 0
 12である =ヘッダ{
 13は     ' ユーザエージェント'：'Mozilla / 5.0（Windows NTの10.0; WOW64）のAppleWebKit / 537.36（ヤモリ様KHTML）クローム/ 58.0.3029.110サファリ/ 537.36 SE 2.X MetaSr 1.0 ' 
14   
15  }
 16   
17   
18  DEF XPAN（canshu）：
 19      試み：
 20          URL = ' https://www.doutula.com/photo/list/?page= ' + STR（canshu）
 21          、SP = requests.get（URL、ヘッダー= ヘッダ）の.text
 22   
23          DOC = PQ（SP）
 24          アイテム= DOC（' .COL-XS-6 IMG ' ）.items（）
 25   
26          のために私アイテム：
 27              のCu = i.attr（' データオリジナル' ）
 28   
29   
30   
31は、             ＃1 R＆LT（Cuは、「F：図の/%s.jpg'%uの/バケット）
32             ＃。U + 1 = 
33である             ＃1 印刷（ 'ダブル現在格納されている％のD' ％U）
34は             ＃1 印刷（銅）
35              のRedis = StrictRedis（=ホスト' 172.18.200.5 '、ポート= 6379、DBの= 1、パスワード= '' ）
 36              redis.sadd（' バケット図ウェブURLのダウンロード写真" 、Cu）で
 37 [   
38は     除くE AS例外：
 39   
40        印刷（「エラー」、e.args）
 41 A = INT（INPUT（「私はあなたがどのように多くのページもクロール必要に尋ねる：」））
 42  印刷するには（' 「リンクをクロール再とRedisのデータベースに保存します。お待ちください... ...... ' ）
 43がある ために I でレンジ（A）：
 44である  
45     。XPAN（I + 1 ）
 46である  
47のRedis = StrictRedis（=ホスト' 172.18.200.5 'ポート= 6379、DBの= 1、パスワード= ' 「）
 48 redis.sremは、（」戦いのネットワーク図のダウンロードはのURLを描写していない「」なし" ）
49  のための I における redis.smembers（' 図ネット写真URLのバケツ' ）：
 50      T = STR（I、エンコーディング= ' UTF8 ' ）
 51は、     ＃1 印刷（T）
52である      R＆LT t.split =（' / ' [） -1 ]
 53である      dizhi = ' F：/バケット図/ ' + R＆LT
 54は      REQ = requests.get（T）
 55      を開くと（dizhi、' WB ' ）P AS：
 56である         p.write（req.content）
 57が         印刷（"％dが保存されて保存されている「％O）
 58          O + 1 =

Pythonの爬虫類チュートリアル：「Pythonが表現パッケージをクロールして。」

おすすめ