Python selenium自动获取URP教务系统课表并以图片形式保存

其他 2020-02-22 10:57:04 阅读次数: 0

之前写过一篇也是爬URP的(Python爬取URP教务系统课程表并保存到excel)，不过用的是request+post请求，中间就借用了一下selenium获取验证码链接，所以这次我就写了一个单单用selenium模拟登录爬课表的…

首先安装selenium、ChromeDriver(因为我用的Chrome浏览器)、还有图像法识别模块pytessrtact，具体安装之前那篇文章有写。

接下来开始操作：

首先：

browser = webdriver.Chrome()
browser.get('http://202.207.177.39:8088/')

F12检查网页源码，既然我们要模拟人的输入，那么我么们就要找账号密码验证码那几个框，还有登录按钮：
在这里插入图片描述
在这里插入图片描述
然后我们应先识别出验证码：
这里我用到的方法是截图选取验证码的区域，但是自动获取验证码的区域(注释掉的部分)我一直获取不准，就只能手动定位了…

# 截屏
browser.save_screenshot('code.png')
# 获取验证码位置  起点(x.y)    大小(width,heigth)
# photo=browser.find_element_by_css_selector('#vchart')
# x=photo.location['x']
# y=photo.location['y']
# width=photo.size['width']
# height=photo.size['height']
x = 810
y = 470
width = 120
height = 30
# 打开图片截图
im = Image.open('code.png')
im = im.crop((x, y, x + width, y + height))
im.save('codes.png')
# 验证码识别
img = Image.open('codes.png')
img = img.convert('L')
img = img.point(lambda x: 255 if x > 135 else 0)
# 验证码
text = '0000'
if pytesseract.image_to_string(img):
    text = pytesseract.image_to_string(img)

另外说一下为什么验证码要初始化‘0000’，其实这东西是什么无所谓，但不能为空。因为当你的网络有延时的活，可能验证码还没加载出来程序就自动给你截图了，这样你的验证码就是空，或者验证码有点复杂，字体颜色和背景颜色很相似，pytesseract没识别出来，验证码也为空。然后程序执行‘登录’就会出现‘请输入验证码’的提示，即InvalidSessionIdException:Invalid session id。为了避免麻烦的异常处理，我就直接给他一个错误的验证码，这样就不用处理这个异常了。

然后：

# 输入账号密码验证码
browser.find_element_by_css_selector(
    'body > table > tbody > tr > td > table.mainbox > tbody > tr:nth-child(1) > td:nth-child(2) > form > table > tbody > tr:nth-child(2) > td > table > tbody > tr:nth-child(1) > td:nth-child(2) > input').send_keys(
    '****')
browser.find_element_by_css_selector(
    'body > table > tbody > tr > td > table.mainbox > tbody > tr:nth-child(1) > td:nth-child(2) > form > table > tbody > tr:nth-child(2) > td > table > tbody > tr:nth-child(2) > td:nth-child(2) > input').send_keys(
    '****')
browser.find_element_by_css_selector(
    'body > table > tbody > tr > td > table.mainbox > tbody > tr:nth-child(1) > td:nth-child(2) > form > table > tbody > tr:nth-child(2) > td > table > tbody > tr:nth-child(3) > td:nth-child(2) > input[type=text]').send_keys(
    '****')
# 模拟登录
browser.find_element_by_css_selector('#btnSure').click()

在这里我们就要判断登陆是否成功，若不成功就重新来一遍。但是怎么判断登陆是否成功呢?看这里：
在这里插入图片描述
在这里插入图片描述
两张图比较，可以发现，如果验证码错误，会多出一个名为“errorTop"的类，我们就可以借用这个来判断登陆是否成功，若成功，就不会有这个元素，用selenium查找就会返回NoSuchElementException的异常。如果这个元素一直存在，就说明一直登陆不成功，就让selenium继续自动重试：

try:
    if browser.find_element_by_css_selector(
            'body > table > tbody > tr > td > table.mainbox > tbody > tr:nth-child(1) > td:nth-child(2) > form > table > tbody > tr:nth-child(1) > td > table > tbody > tr > td > table > tbody > tr:nth-child(2) > td.errorTop'):
        print("Login failed, retrying...")
        login(browser, number)#登陆函数，用了个递归，详情请看文末源码
except NoSuchElementException:
    print('Login successfully')

登录成功后，我们要去教学资源->班级课表里面查课表：
在这里插入图片描述
我们要先让selenium自动点击到这里，F12：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
可以看到，教学资源在第一个name为"topFrame"的frame里，班级课表在第二个name为"bottomFrame"的frame里面的name为"menuFrame"的frame里。我们需要依次点击：

browser.switch_to.frame(browser.find_element_by_name('topFrame'))
browser.find_element_by_xpath('//*[@id="moduleTab"]/tbody/tr/td[4]/a').click()
browser.switch_to.default_content()#返回主界面
browser.switch_to.frame(browser.find_element_by_name('bottomFrame'))
browser.switch_to.frame('menuFrame')
browser.find_element_by_xpath('//[@id="project"]/table/tbody/tr[1]/td/table/tbody/tr[2]/td/table/tbody/tr[3]/td/a').click()

注意，browser在完成点击“教学资源”后是停留在"topFrame"中的，我们要让他返回主界面才可以继续去"bottomFrame"中去操作。
在这里插入图片描述
接下来该点击院系、专业、年级、班级了，他们都在name为"bottomFrame"的frame里面的name为"mainFrame"的frame里。但是因为"mainFrame"和"menuFrame"是平级的，他们都是"bottomFrame"的子frame，因此我么们要先返回"bottomFrame"才可以去"mainFrame"继续操作。

browser.switch_to.parent_frame()
browser.switch_to.frame('mainFrame')

然后依次点击：（这里以我的为例）

# 大数据学院
browser.find_element_by_xpath('/html/body/form/table[4]/tbody/tr/td/table[1]/tbody/tr[3]/td[3]/select').click()
browser.find_element_by_xpath('/html/body/form/table[4]/tbody/tr/td/table[1]/tbody/tr[3]/td[3]/select/option[14]').click()
# 计算机类
browser.find_element_by_xpath('/html/body/form/table[4]/tbody/tr/td/table[1]/tbody/tr[3]/td[7]/select').click()
browser.find_element_by_xpath('/html/body/form/table[4]/tbody/tr/td/table[1]/tbody/tr[3]/td[7]/select/option[2]').click()
# 2018级
browser.find_element_by_xpath('/html/body/form/table[4]/tbody/tr/td/table[1]/tbody/tr[5]/td[3]/select').click()
browser.find_element_by_xpath('/html/body/form/table[4]/tbody/tr/td/table[1]/tbody/tr[5]/td[3]/select/option[21]').click()
#  班级
browser.find_element_by_xpath('/html/body/form/table[4]/tbody/tr/td/table[1]/tbody/tr[5]/td[7]/select').click()
browser.find_element_by_xpath('/html/body/form/table[4]/tbody/tr/td/table[1]/tbody/tr[5]/td[7]/select/option[' + str(int(number[-1]) + 1) + ']').click()

browser.find_element_by_xpath('//*[@id="btnSearch"]').click()
browser.find_element_by_xpath('//*[@id="user"]/tbody/tr/td[6]/img').click()

注意：：：：
一定要按顺序来，不然是没有东西的。只有当你初次点击了选项框（第一次click），才会弹出选项列表，再进行第二次click

这里解释一下班级：

18070047:
/html/body/form/table[4]/tbody/tr/td/table[1]/tbody/tr[5]/td[7]/select/option[8]
18070048:
/html/body/form/table[4]/tbody/tr/td/table[1]/tbody/tr[5]/td[7]/select/option[9]

可见关键就在于option[]内的数字，即为班级最后一个数字+1

最下面的两个click分别对应这两个点击：
在这里插入图片描述
最后我们需要得到类似于这样的图片：
在这里插入图片描述
这就引出了两个问题：
1、点击查看以后出现了一个新的窗口，selenium需要跳转到这个窗口进行截屏；
2、可能由于课程较多或字体较大，一张页面显示不完全

解决方案：
1、利用browser.window_handles获取新窗口句柄进行跳转

window_after = browser.window_handles[1]
browser.switch_to.window(window_after)

2、因为selenium无法实现长截图，拼接效果又不是很好（图片也没多长，重合部分很大），所以我采取了进行适当的缩放实现全屏显示

browser.execute_script("document.body.style.zoom='0.8'")
browser.execute_script('window.scrollTo(0, document.body.scrollHeight)')

然后截屏：

browser.save_screenshot(number + '.png')

接下来上源码：

from selenium.common.exceptions import NoSuchElementException
from selenium import webdriver
from PIL import Image
import pytesseract

def login(browser,number):
    # 全屏
	browser.maximize_window()
    # 隐式等待
    browser.implicitly_wait(3)
    # 截屏
    browser.save_screenshot('code.png')
    # 获取验证码位置  起点(x.y)    大小(width,heigth)
    # photo=browser.find_element_by_css_selector('#vchart')
    # x=photo.location['x']
    # y=photo.location['y']
    # width=photo.size['width']
    # height=photo.size['height']
    x=810
    y=470
    width=120
    height=30
    # 打开图片截图
    im=Image.open('code.png')
    im=im.crop((x,y,x+width,y+height))
    im.save('codes.png')
    # 验证码识别
    img=Image.open('codes.png')
    img=img.convert('L')
    img=img.point(lambda x:255 if x>135 else 0)

    text='0000'
    if pytesseract.image_to_string(img):
        text=pytesseract.image_to_string(img)

    # 输入账号密码验证码
    browser.find_element_by_css_selector('body > table > tbody > tr > td > table.mainbox > tbody > tr:nth-child(1) > td:nth-child(2) > form > table > tbody > tr:nth-child(2) > td > table > tbody > tr:nth-child(1) > td:nth-child(2) > input').send_keys('*******')
    browser.find_element_by_css_selector('body > table > tbody > tr > td > table.mainbox > tbody > tr:nth-child(1) > td:nth-child(2) > form > table > tbody > tr:nth-child(2) > td > table > tbody > tr:nth-child(2) > td:nth-child(2) > input').send_keys('*******')
    browser.find_element_by_css_selector('body > table > tbody > tr > td > table.mainbox > tbody > tr:nth-child(1) > td:nth-child(2) > form > table > tbody > tr:nth-child(2) > td > table > tbody > tr:nth-child(3) > td:nth-child(2) > input[type=text]').send_keys(text)

    # 模拟登录
    browser.find_element_by_css_selector('#btnSure').click()

    try:
        if browser.find_element_by_css_selector('body > table > tbody > tr > td > table.mainbox > tbody > tr:nth-child(1) > td:nth-child(2) > form > table > tbody > tr:nth-child(1) > td > table > tbody > tr > td > table > tbody > tr:nth-child(2) > td.errorTop'):
            print("Login failed, retrying...")
            time.sleep(1)
            # browser.close()
            login(browser,number)
    except NoSuchElementException:
        print('Login successfully')
    # except UnexpectedAlertPresentException:
    #     browser.close()
    #     login(browser,number)
    # except InvalidSessionIdException:
    #     browser.refresh()
    #     login(browser,number)
    
    browser.maximize_window()

    browser.switch_to.frame(browser.find_element_by_name('topFrame'))
    browser.find_element_by_xpath('//*[@id="moduleTab"]/tbody/tr/td[4]/a').click()
    browser.switch_to.default_content()

    browser.switch_to.frame(browser.find_element_by_name('bottomFrame'))

    browser.switch_to.frame('menuFrame')
    browser.find_element_by_xpath('//*[@id="project"]/table/tbody/tr[1]/td/table/tbody/tr[2]/td/table/tbody/tr[3]/td/a').click()

    browser.switch_to.parent_frame()

    browser.switch_to.frame('mainFrame')

    browser.find_element_by_xpath('/html/body/form/table[4]/tbody/tr/td/table[1]/tbody/tr[3]/td[3]/select').click()
    browser.find_element_by_xpath('/html/body/form/table[4]/tbody/tr/td/table[1]/tbody/tr[3]/td[3]/select/option[14]').click()

    browser.find_element_by_xpath('/html/body/form/table[4]/tbody/tr/td/table[1]/tbody/tr[3]/td[7]/select').click()
    browser.find_element_by_xpath('/html/body/form/table[4]/tbody/tr/td/table[1]/tbody/tr[3]/td[7]/select/option[2]').click()

    browser.find_element_by_xpath('/html/body/form/table[4]/tbody/tr/td/table[1]/tbody/tr[5]/td[3]/select').click()
    browser.find_element_by_xpath('/html/body/form/table[4]/tbody/tr/td/table[1]/tbody/tr[5]/td[3]/select/option[21]').click()

    browser.find_element_by_xpath('/html/body/form/table[4]/tbody/tr/td/table[1]/tbody/tr[5]/td[7]/select').click()
    browser.find_element_by_xpath('/html/body/form/table[4]/tbody/tr/td/table[1]/tbody/tr[5]/td[7]/select/option['+str(int(number[-1])+1)+']').click()   

    browser.find_element_by_xpath('//*[@id="btnSearch"]').click()

    browser.find_element_by_xpath('//*[@id="user"]/tbody/tr/td[6]/img').click()

    window_after = browser.window_handles[1]

    browser.switch_to.window(window_after)

    browser.execute_script("document.body.style.zoom='0.8'")

    browser.execute_script('window.scrollTo(0, document.body.scrollHeight)')
    browser.save_screenshot(number+'.png')
    browser.quit()
    exit(0)

def main():
    browser=webdriver.Chrome()
    browser.get('http://202.207.177.39:8088/')
    print('请输入想要查找的班级号：')
    number=input()
    login(browser,number)

if __name__=='__main__':
    main()

接下来是程序运行结果演示：

演示结果

结果图片：
在这里插入图片描述

李HH的笔记本
发布了20 篇原创文章 · 获赞 10 · 访问量 1220
私信 关注

猜你喜欢

转载自blog.csdn.net/qq_43613793/article/details/103297963
今日推荐
火速冲上 GitHub 热榜 —— 开源编程语言、框架哪有这么可爱？
北京人形机器人创新中心发布全球首个纯电驱拟人奔跑的全尺寸人形机器人“天工”
LFOSSA 源来如此公开课 | 掌握云原生未来：CNCF 认证全面攻略与备考秘籍
国产云输入法——仅华为无云端数据上传安全问题
开源日报 | 工业开源项目OGG 1.0；姐姐，你要和我一起配置火狐吗；苹果AI遥遥落后？Fedora 40
开放签电子签章：停止新增，优化体验，前进更进（五一假期前工作）
开源日报 | 中学生开源前端动画引擎；全球首个Llama3 8B中文版开源模型；联想电脑恐出局；Linus讽刺AI炒作
周排行
浏览器对同一域名进行请求的最大并发连接数
React Hook之自定义Hook
【转】MyBatis缓存机制
-Java-泛型
自动化测试常用脚本-发送邮件
LeetCode#859: Buddy Strings
java、Python处理字符串
第二篇の博客
Hadoop伪分布式环境安装
SQL Server进阶（十一）临时表、表变量
每日归档
更多
2024-04-27(56)
2024-04-26(39)
2024-04-25(22)
2024-04-24(36)
2024-04-23(26)
2024-04-22(39)
2024-04-21(0)
2024-04-20(6)
2024-04-19(5)
2024-04-18(0)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022