定向爬取大学排名-Python

MOOC课程学习笔记
课程链接：https://www.bilibili.com/video/BV1ME411E7jE?p=1

包含的库

库	作用
re	正则表达式
requests	进行网络请求
BeautifulSoup	从HTML中提取数据

import requests
import bs4
from bs4 import BeautifulSoup

程序的结构设计

def main():
    # 存储大学排名信息
    uinfo = []
    #目标地址
    url = "http://www.zuihaodaxue.cn/zuihaodaxuepaiming2019.html"
    #从网络上获取大学排名内容
    html = getHTMLText(url)
    #将网页信息存储到合适的数据结构中
    fillUnivList(uinfo,html)
    #利用数据结构展示并输出内容
    printUnivList(uinfo,20)

各函数的具体实现

从网络上获取大学排名内容

def getHTMLText(url):
    '''获取url信息，输出url内容'''
    try:
        r = requests.get(url)   
        r.raise_for_status()                    #如果状态不是200，引发HTTPError异常
        r.encoding = r.apparent_encoding        #按内容编码
        return r.text                           #返回Response内容
    except:
        return "产生异常"

将网页信息存储到合适的数据结构中

def fillUnivList(ulist,html):
    '''将文章页面放在list列表中'''
    soup = BeautifulSoup(html,"html.parser")
    for tr in soup.find('tbody').children:      #遍历tbody标签的子节点(children迭代类型)
        if isinstance(tr,bs4.element.Tag):      #检测tr标签是否为bs4定义的Tag类型
            tds = tr('td')                      #tds以list形式存储td标签
            ulist.append([tds[0].string,tds[1].string,tds[2].string])

利用数据结构展示并输出内容

def printUnivList(ulist,num):
    '''打印ulist中num个信息'''
    content = "{0:^10}\t{1:{3}^10}\t{2:^10}"
    print(content.format("排名","学校名称","总分",chr(12288)))
    for i in range(num):
        u = ulist[i]
        print(content.format(u[0],u[1],u[2],chr(12288)))

输出结果

    排名        　　　学校名称　　　        总分    
    1           　　　清华大学　　　        北京    
    2           　　　北京大学　　　        北京    
    3           　　　浙江大学　　　        浙江    
    4           　　上海交通大学　　        上海    
    5           　　　复旦大学　　　        上海    
    6           　中国科学技术大学　        安徽    
    7           　　华中科技大学　　        湖北    
    7           　　　南京大学　　　        江苏    
    9           　　　中山大学　　　        广东    
    10          　哈尔滨工业大学　　       黑龙江    
    11          　北京航空航天大学　        北京    
    12          　　　武汉大学　　　        湖北    
    13          　　　同济大学　　　        上海    
    14          　　西安交通大学　　        陕西    
    15          　　　四川大学　　　        四川    
    16          　　北京理工大学　　        北京    
    17          　　　东南大学　　　        江苏    
    18          　　　南开大学　　　        天津    
    19          　　　天津大学　　　        天津
    20          　　华南理工大学　　        广东