Python_戦闘小さな爬虫類_requests

1   。1 #のすべてのための任意の場所にKFCレストランの位置情報をクロール#(ただし、データ解析のために。)
2つの   2 インポート要求
 。3   。3 
 。4   。4 = URL ' http://www.kfc.com.cn/kfccda/ashx /GetStoreList.ashx?op=keyword ' 
5。   5 USER_INPUT = INPUT(。" 検索を入力してください" 6。   6つのヘッダー= {
 7。   7。      " User--エージェント"" はMozilla / 5.0(Windows NTの10.0; WOW64)のAppleWebKit / 537.36(ヤモリ様KHTML)クローム/ 65.0.3325.181サファリ/ 537.36 
。8   。8 }
 。9   。9 I における範囲(1,20 :)
 10 10データ= {
 11 11          " CNAME """ 12 12          " PID """ 13 13          " キーワード" :USER_INPUT、
 14 14          " pageIndexパラメータ" :I、
 15 15          " のpageSize "' 10 ' 
16 16      }
 1717のRES = requests.post(URL = URL、データ=データ、ヘッダ= ヘッダ)
 18の 18統計= res.headers
 19 19コンテンツ= res.text
 20 20      プリント(コンテンツ+ " \ n " 21 21      試み22 22          もし ない   統計[ " ヴァリ" ]:
 23の 23             パス
24 24      を除い25 25          休憩

 

1  (ただし、データ解析のために。)クレソン映画フィルム詳細データをクロール
 2つの インポート要求は
 3つの。ヘッダー= {
 4。    " User--エージェント"" はMozilla / 5.0(Windows NTの10.0; WOW64)のAppleWebKit / 537.36 (ヤモリ様KHTML)クローム/ 65.0.3325.181サファリ/ 537.36 " 
5。 }
 6。 #https://movie.douban.com/j/chart/top_listタイプ= 10 = 100%&interval_id 3A90&アクション= START = 0 && //リミット1 =?7 #https:タイプの//movie.douban.com/j/chart/top_list = 17&interval_id = 100%3A90&アクション=&スタート= 0&限界= 20 / サイエンスフィクション
 8 #https://movie.douban.com/j/chart/ top_list?タイプ= 11&interval_id = 100%3A90&アクション=&= 0&リミット= 20 //開始プロットを
9 #https://movie.douban.com/j/chart/top_listタイプ= 24&interval_id = 100%3A90&アクション=&= 0&限界= 20 //開始?喜剧
 10 #https://movie.douban.com/j/chart/をtop_listタイプ= 13&interval_id = 100%3A90&アクション=&スタート= 0&限界= 20 //?爱情
 11 #https://movie.douban.com/j/chart/top_listタイプ= 25&interval_id = 100%3A90&アクション=&スタート= 0&限界= 20 / / 动画
 12 url_secelt = {
 13      " 动作"" 5 " 14      " 悬疑"" 10 " 15      " 科幻"" 17 "16      " ドラマ"" 11 " 17      " コメディ"" 24 " 18      " "" 13 " 19      " アニメ"" 25 " 
20である }
 21である user_movie = INPUT(ジャンル\ nを入力してください現在、唯一の検索をサポートしていますのSFアクションコメディドラマの愛のn \サスペンスアニメーション22 URL = " https://movie.douban.com/j/chart/top_list?type={}&interval_id = 100%3A90&アクション=なし"([user_movie] url_secelt).format
 23  のための I における範囲(0,800,20 ):
 24      PARAM = {
 25          " 開始" :私は、
 26          " 制限"" 20 " 
27      }
 28の      RES = requests.get(URL = URL 、paramsは= PARAM、ヘッダー= ヘッダ)
 29      含有量= res.json()
 30の      統計= res.headers
 31      であればコンテンツ== []:
 32          休憩
33      プリント(コンテンツ)
 34     試す35          場合 ではない統計[ " ヴァリ" ]:
 36              パス
37      を除い38          休憩

 

。1 ## HTTP://125.35.6.84:81 / XK / (。なく、データ解析のために)各データのエンタープライズビジネスの詳細をクロール
 2つの インポート要求を
 3つのヘッダー= {
 4     " User--エージェント"" はMozilla / 5.0(Windows NTの10.0; WOW64)のAppleWebKit / 537.36(KHTML、ヤモリ等)クローム/ 65.0.3325.181サファリ/ 537.36 " 
。5  }
 。6 URL = " http://125.35.6.84:81/xk/itownet/portalAction ?= getXkzsList .doという方法" 
7。 
8。データ= {
 9。     " ON "' 真の' 10      "ページ"" 3 " 11 " のpageSize "" 15 " 12 " 商品名""" 13 " ConditionTypeを"" 1 " 14 " applyname """ 15 " applysn """ 16 }
 17の RES = requests.post(URL = urlには、データ=データ、ヘッダー= ヘッダ)
 18                         
 コンテンツ= res.json()
 19  のための I におけるコンテンツ[ " リスト" ]:
 20      のURL = " http://125.35.6.84:81/xk/itownet/portalAction.do?method=getXkzsById " 
21      データ= {
 22          " ID ":I [ " ID ]
 23  
24      }
 25の      RES = requests.post(URL = URL、データ=データ、ヘッダ= ヘッダ)
 26      含有量= res.json()
 27      プリント(コンテンツ)
 28  

 

おすすめ

転載: www.cnblogs.com/helloboke/p/11494160.html