selenium被反爬了怎么办?

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接: https://blog.csdn.net/brytlevson/article/details/101596106

在最近的业务需求中发现淘宝,美团,京东各大网站已经对selenium进行了反爬;
推测,服务器端因该是判断一些特殊的字段和方法来识别爬虫,毕竟selenium下的chromedriver 与真实的chrome所在的环境和配置等是有差异的。
为了完成项目需求,我尝试了一些简单的方法;
方法一:
发送请求的时候携带cookie,采用requests的Session状态保持,事实证明这种方法简单有效,可以成功访问。但是这是用于采集的数据量比较少的情况下。如果你想要快速采集,那就使用aiohttp吧!
方法二:
如果js可以破解的话,那就破解它了!
应该还有更好的方法,学习完后会持续更新!

猜你喜欢

转载自blog.csdn.net/brytlevson/article/details/101596106
今日推荐