【问题解决】Selenium——NoSuchWindowException: Browsing context has been discarded

昨天上服务器检查了一下小程序后端运行是否良好,发现与selenium有关的模块的进程全挂了。惊慌失措之下重试了爬虫模块的代码,发现本机上正常运行的代码,在ubuntu上运行时出现报错:

NoSuchWindowException: Browsing context has been discarded

百度了很久也没有得到确切的解释,有说是Firefox浏览器版本与驱动不兼容之类的,但是之前一个多月都有正常运行。

后来我觉得putty很卡,感觉可能是内存炸了,运行爬虫监测了一下内存,发现在点击搜索引擎时内存占用激增,直至报错。

但是尝试了很多方法都没有能够解决selenium内存占用导致崩溃的方法;

其中一个有稍许效果的方法是每次操作一步后就清理缓存?

browser = selenium.webdriver.Firefox()
browser.get("...")
browser.delete_all_cookies()
browser.find_element_by_xpath("...").click()
browser.delete_all_cookies()
...
browser.quit()

但是还是无法阻止OOM的发生。

后来发现内存溢出后还会出现各种各样奇怪的报错,总之报错不止上面这一种情况,有的记不清楚了,我都快要抓狂了。

回寝跟队友讲了这件事情,严密地分析了一阵子觉得要么是服务器内存太小不够容量,要么是服务器带宽不够卡死在一个页面上,要么是服务器流量将竭,网速太慢。

然后我们开始考虑要不要升级换个好一点的服务器,于是先重启了一下服务器。

重启完毕,一切都正常了,爬虫不卡了,错也不报了。

这个故事告诉我们,无论发生什么事,先restart再说。

发布了40 篇原创文章 · 获赞 133 · 访问量 44万+

猜你喜欢

转载自blog.csdn.net/CY19980216/article/details/90932185