株価データをクロール爬虫類

証券方向データ爬虫類インスタンスの
目的：名前や情報、上海証券取引所とのすべての株式の深セン証券取引所の取引を取得するために
ファイルに保存：出力の
技術的なルートを：リクエスト-BS4-RE

候補データサイトの選択
選択の原則を：静的なHTMLページに保存されている株価情報、非jsのコード生成、制限ロボットプロトコルが存在しない
選択方法：ブラウザのF12は、ソースコードを表示

サイトのデータを判断するには
、株式のリストを取得するために
dongfangcaifuwang：http://quote.eastmoney.com/stocklist.html

取得株式情報
Baiduの株式：http://gupiao.baidu.com/stock/
個別銘柄：http://gupiao.baidu.com/stock/sz002439.html

各株式URLを見るBaiduの株価：
https://gupiao.baidu.com/stock/sz300023.htmlは
URLで見つけることができますが数300023がちょうど在庫数、深セン証券取引所SZ表現である必要があります。次のようにそのため、我々が構築プログラムが構成されています
。ステップ1：東富のネットワークからの株式のリストを取得し、
ステップ2：1つの銘柄記号によって取得した1、およびBaiduの株式へのリンクを追加しました、一つ一つが株式情報へのアクセスを得るためにこれらのリンクの最後、
ステップ3：結果をファイルに保存します。

ビューBaiduの在庫情報ページのソースコードは、各株についての情報は以下のhtmlコードに格納されています

每一个信息源对应一个信息值，即采用键值对的方式进行存储
在python中键值对的方式可以用字典类型
因此，在本项目中，使用字典来存储每只股票的信息，然后再用字典把所有股票的信息记录起来，最后将字典中的数据输出到文件中

代码

 1 import requests
 2 from bs4 import BeautifulSoup
 3 import traceback
 4 import re
 5 import bs4
 6 
 7 def getHTMLText(url,code='utf-8'): #使用code提高解析效率
 8     try:
 9         r = requests.get(url)
10         r.raise_for_status()
11         r.encoding = code
12         return r.text
13     except:
14         return '爬取失败'
15      
16 def getStockList(lst,stockURL):
17     html = getHTMLText(stockURL,'GB2312')
18     soup = BeautifulSoup(html,'html.parser')
19     a = soup.find_all('a')
20     for i in a :
21         try:
22             href = i.attrs['href']
23             #以s开头，中间是h或z，后面再接六位数字
24             lst.append(re.findall(r'[s][hz]\d{6}',href)[0])
25         except:
26             continue
27     
28 def getStockInfo(lst,stockURL,fpath):
29     count = 0
30     for stock in lst:
31         url = stockURL + stock +'.html'
32         html = getHTMLText(url)
33         try:
34             if html == "":
35                 continue
36             infoDict = {}
37             soup = BeautifulSoup(html,'html.parser')
38             stockInfo = soup.find('div',attrs={'class':'stock-bets'}            
39             if isinstance(stockInfo,bs4.element.Tag)：
40                 name = stockInfo.find_all(attrs={'class':'bets-name'})[0]
41                 infoDict.update({'股票名称':name.text.split()[0]})
42                 keyList = stockInfo.find_all('dt')
43                 valueList = stockInfo.find_all('dd')
44                 for i in range(len(keyList)):
45                     key = keyList[i].text
46                     val = valueList[i].text
47                     infoDict[key] = val
48                 with open(fpath,'a',encoding='utf-8') as f:
49                     f.write(str(infoDict) + '\n')
50                     count += 1
51                     print('\r当前速度:{:.2f}%'.format(count*100/len(lst)),end='')
52                     #打印爬取进度
53         except:
54             print('\r当前速度:{:.2f}%'.format(count*100/len(lst)),end='')
55             traceback.print_exc()
56             continue
57         
58 def main():
59     stock_list_url = 'http://quote.eastmoney.com/stocklist.html'
60     stock_info_url = 'http://gupiao.baidu.com/stock/' 
61     output_file = 'C:/Users/Administrator/Desktop/Python网络爬虫与信息提取/BaiduStockInfo.txt'
62     slist = []
63     getStockList(slist,stock_list_url)
64     getStockInfo(slist,stock_info_url,output_file)
65 
66 main()

运行结果

株価データをクロール爬虫類

おすすめ