python定向爬虫实例（二）

功能描述：爬取东方财富网和百度股票的信息并将信息存在文件中

程序设计：

• 爬取东方财富网的股票信息，并将股票代码存在列表中
• 根据股票代码列表，爬取百度股票的详细信息存在字典中
• 将股票信息字典存在文件中

import re
# import traceback
import requests
import bs4
from bs4 import BeautifulSoup

def getHTMLText(url):
    try:
        r=requests.get(url)
        r.raise_for_status()
        r.encoding=r.raise_for_status()
        return r.text
    except:
        return ""

def getStockList(stock_list_url,slt):
    demo=getHTMLText(stock_list_url)
    soup=BeautifulSoup(demo,"html.parser")
    for a in soup.find_all('a',attrs={'target':'_blank'}):
        try:
            if isinstance(a,bs4.element.Tag):
                match=re.search(r'[s][hz]\d{6}',a.attrs.get("href"))
                slt.append(match.group(0))
        except:
            continue
    return ""

def getStockInfo(stock_info_url,slt,file_path):
    count=0
    for stock in slt:
        info_dict={}    #存放股票信息
        url=stock_info_url+stock+'.html'
        try:
            demo=getHTMLText(url)
            soup=BeautifulSoup(demo,'html.parser')
            info_dict['股票名称']=soup.find('a','bets-name').text.split()[0]    #text：获取改标签下的所有字符串并使用空格分隔
            info_div=soup.find('div','bets-content')
            dt_list=info_div.find_all('dt') #ksy
            dd_list=info_div.find_all('dd') #value
            for i,dt in enumerate(dt_list):
                info_dict[dt.string]=dd_list[i].string
            with open(file_path,"a") as f:
                f.write(str(info_dict)+'\n')
            count+=1
            print('\r当前进度：{:.2f}%'.format(count*100/len(slt)),end='')   #打印进度条
        except:
            # traceback.print_exc()
            continue
    return ""

def main():
    stock_list_url='http://quote.eastmoney.com/stock_list.html' #东方财富网
    stock_info_url='https://gupiao.baidu.com/stock/'   #百度股票
    slt=[]  #存放股票代码列表
    file_path="D://股票爬虫.txt"
    getStockList(stock_list_url,slt)
    getStockInfo(stock_info_url,slt,file_path)
main()

效果显示：