爬虫——最好大学排名实例

整理于北京理工大学-嵩天老师的爬虫mooc

包括了爬虫程序和对中文字符居中问题的解决

程序： 

import requests
from bs4 import BeautifulSoup
import bs4

def getHTMLText(url):	//获取HTML的内容
    try:
        r = requests.get(url,timeout = 30)
        r.raise_for_status()	//生成错误信息
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ""

def fillUnivList(ulist,html):	
    soup = BeautifulSoup(html,"html.parser")
    for tr in soup.find('tbody').children:
        if isinstance(tr,bs4.element.Tag):	//是否是bs4的标签
            tds = tr('td')
            ulist.append([tds[0].string,tds[1].string,tds[2].string,tds[3].string])

def printUnivList(ulist,num):
    tplt = "{0:^10}\t{1:{4}^10}\t{2:{4}^10}\t{3:^10}"	//打印模板，format填充
    print(tplt.format("排名","学校","城市","总分",chr(12288)))
    for i in range(num):
        u=ulist[i]
        print(tplt.format(u[0],u[1],u[2],u[3],chr(12288)))

def main():
    uinfo = []
    url= "http://www.zuihaodaxue.com/zuihaodaxuepaiming2016.html"
    html = getHTMLText(url)
    fillUnivList(uinfo,html)
    printUnivList(uinfo,20)

main()

char(12288)	//12288字符是中文空格

format语法：

中文字符居中问题的解决
{1:{4}^10}
以10位字宽将第1个槽用第4个字符chr(12288)居中填充

结果：

/home/tomblack/PycharmProjects/test/venv/bin/python /home/tomblack/PycharmProjects/test/best.py
    排名    	　　　　学校　　　　	　　　　城市　　　　	    总分    
    1     	　　　清华大学　　　	　　　北京市　　　　	   95.9   
    2     	　　　北京大学　　　	　　　北京市　　　　	   82.6   
    3     	　　　浙江大学　　　	　　　浙江省　　　　	    80    
    4     	　　上海交通大学　　	　　　上海市　　　　	   78.7   
    5     	　　　复旦大学　　　	　　　上海市　　　　	   70.9   
    6     	　　　南京大学　　　	　　　江苏省　　　　	   66.1   
    7     	　中国科学技术大学　	　　　安徽省　　　　	   65.5   
    8     	　哈尔滨工业大学　　	　　　黑龙江省　　　	   63.5   
    9     	　　华中科技大学　　	　　　湖北省　　　　	   62.9   
    10    	　　　中山大学　　　	　　　广东省　　　　	   62.1   
    11    	　　　东南大学　　　	　　　江苏省　　　　	   61.4   
    12    	　　　天津大学　　　	　　　天津市　　　　	   60.8   
    13    	　　　同济大学　　　	　　　上海市　　　　	   59.8   
    14    	　北京航空航天大学　	　　　北京市　　　　	   59.6   
    15    	　　　四川大学　　　	　　　四川省　　　　	   59.4   
    16    	　　　武汉大学　　　	　　　湖北省　　　　	   59.1   
    17    	　　西安交通大学　　	　　　陕西省　　　　	   58.9   
    18    	　　　南开大学　　　	　　　天津市　　　　	   58.3   
    19    	　　大连理工大学　　	　　　辽宁省　　　　	   56.9   
    20    	　　　山东大学　　　	　　　山东省　　　　	   56.3   

Process finished with exit code 0