爬取厦门大学电费

这个神奇的电费网站真的是。。。

拖到我现在才做出来

大概思路就是保持session，get访问一次获取所有隐藏的表单信息，然后选取校区，因为选完页面会刷一次，post访问，最后填写其他信息，post得到电费。

如果直接post会发现电费是空的，大概的时间应该都耗在了获取隐藏信息上了

最开始用selenium->3.5s

现在requests->0.7s

如果大佬们有更高效的解决方案，请务必告诉我，谢谢

#!/usr/bin/env python
# _*_ coding:utf-8 _*_
import requests
from bs4 import BeautifulSoup


# 获取电费
# @param drxiaoqu 校区代号
# @param drlou 园区代号
# @param txtRoomid 宿舍
def query(drxiaoqu, drlou, txtRoomid):
    # 一定要保持session
    r = requests.session()
    url = 'http://elec.xmu.edu.cn/PdmlWebSetup/Pages/SMSMain.aspx'
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                             'Chrome/70.0.3538.102 Safari/537.36'}

    html = r.get(url=url, headers=headers).text
    soup = BeautifulSoup(html, 'lxml')
    # 获取所有的隐藏(hidden)
    t = soup.find_all("input", attrs={'type': 'hidden'})
    data = {}
    for tag in t:
        if 'value' in tag.attrs:
            data[tag.attrs['id']] = tag.attrs['value']
        else:
            data[tag.attrs['id']] = ''
    # 模拟选择了校区
    data['drxiaoqu'] = drxiaoqu
    # 这个属性很重要
    data['__EVENTTARGET'] = 'drxiaoqu'
    html = r.post(url=url, headers=headers, data=data).text
    soup = BeautifulSoup(html, 'lxml')
    t = soup.find_all("input", attrs={'type': 'hidden'})
    # 继续获取所有的隐藏(hidden)，获得的隐藏和刚刚那次的隐藏有所不一样
    for tag in t:
        if 'value' in tag.attrs:
            data[tag.attrs['id']] = tag.attrs['value']
        else:
            data[tag.attrs['id']] = ''
    # 填写园区和楼号
    data['drlou'] = drlou
    data['txtRoomid'] = txtRoomid
    html = r.post(url=url, headers=headers, data=data).text
    soup = BeautifulSoup(html, 'lxml')
    # 找到电费的标签
    tag = soup.find('label', attrs={'id': "lableft"})
    return tag.string


# 用时大约0.7s有待改进
print(query('31', '南光10', '0315'))

参考资料：

https://zhuanlan.zhihu.com/p/37603301

爬取厦门大学电费

猜你喜欢