版权声明:本文为博主原创文章,禁止转载。联系方式:[email protected] https://blog.csdn.net/WMN7Q/article/details/78515264
今天在尝试了一下如何爬取北邮人论坛,最后使用selenium来实现了。
下面记录一下使用selenium要注意的地方。
- python selenium模块使用出错,错误代码为:Message: ‘geckodriver’ executable needs to be in PATH.
ubuntu16.04环境下 解决方法:
下载 geckodriverckod
地址: mozilla/geckodriver
解压后将geckodriverckod 存放至 /usr/local/bin/ 路径下即可
sudo mv ~/Downloads/geckodriver /usr/local/bin/
#具体答案可以查看下面的链接
链接:https://www.zhihu.com/question/49568096/answer/131093426
- 出现错误:selenium.common.exceptions.TimeoutException: Message: Screenshot: available via screen
driver = webdriver.PhantomJS(service_args=[‘–ignore-ssl-errors=true‘, ‘–ssl-protocol=TLSv1‘])
在初始化driver时传入参数”service_args=[‘–ignore-ssl-errors=true‘, ‘–ssl-protocol=TLSv1‘]”即可。
- 一些模拟键盘的操作
Selenium + PhantomJS + python 简单实现爬虫的功能
- 下面是一个使用python+scrapy+selenium的例子,可以作为参考
关于我自己的网站文艺数学君,上面会更新关于更多python的教程和mathematica的一些有趣的用法。
来提高写作业的效率啦~\(≧▽≦)/~啦啦啦