第八天学习python

爬虫学习(三)
下面写出一个基础大学排名代码进行学习

步骤1:大学排名连接
步骤2:大学排名数据结构
步骤3:利用数据结构进行输出

import requests
import bs4
from bs4 import BeautifulSoup

def geth(url):
    try:
        r=requests.get(url,timeout=30)
        r.raise_for_status()
        r.encoding=r.apparent_encoding
        return r.text
    except:
        return ""
    return ""
def fillu(ulist,html):
    soup=BeautifulSoup(html,"html.parser")
    for tr in soup.find("tbody").children:
        if isinstance(tr,bs4.element.Tag):
            tds=tr("td")
            ulist.append([tds[0].string,tds[1].string,tds[2].string,tds[3].string,tds[4].string])

    pass
def printu(ulist,num):
    print("{:^10}\t{:^6}\t{:^10}\t{:^15}\t{:^2}\t".format("排名","学校名称","省份","分数","占取率"))
    for i in range(num):
        u = ulist[i]
        print("{:^10}\t{:^6}\t{:^10}\t{:^9}\t{:^13}\t".format(u[0],u[1],u[2],u[3],u[4]))

    print("Suc"+str(num))
def main():
    uinfo=[]
    url="http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html"
    html=geth(url)
    fillu(uinfo,html)
    printu(uinfo,100)
main()

输出为:
这里写图片描述
上述采用了4个方法
def geth(url):
构造了r.text,返回网址页面内容,进行返回保存,并且判断是否有误,如果有误则返回“”
def fillu(ulist,html):
则是解析网页构造,上述代码则是,在tbody里面寻找tr,再在tr里面找到td,将td里面的内容保存在ulist里面
def printu(ulist,num):
进行一个循环输出,依次将td里面的内容进行输出

猜你喜欢

转载自blog.csdn.net/qq_40594554/article/details/81388877