解决:scrapy+splash+Lua脚本滚轮动态加载一次的问题

作为小白,对于滚轮动态加载没有想到简便的解决方法,主要是通过for循环。
在学习之前的scrapy+selenium爬取的就是知乎页面,知乎页面是滚轮动态加载的,使用滚动到底这个js命令时发现只能翻转一页
在这里插入图片描述
于是在’window.scrollTo(0,document.body.scrollHeight)'之前增加了一个for循环后可以成功加载多次。
在这里插入图片描述

在scrapy+splash+Lua脚本滚轮动态加载中也是如此,只是使用lua脚本的for循环
lua脚本的for循环实例:
这个实例可以参见脚本之家的脚本专栏 → Lua → Lua中的for循环
在scrapy中传入为:
在这里插入图片描述
传入后cmd的运行:
在这里插入图片描述
mongo数据库中的爬取的数量明显增加

之前的爬取数量为27

但是这里存在的问题是:不知道能否加载完,其次for循环过多会影响速度;如果要比较精确的加载完且不浪费循环需要进行计算,这是个很麻烦的事情。

[1]https://www.jb51.net/article/66867.htm

发布了22 篇原创文章 · 获赞 25 · 访问量 3293

猜你喜欢

转载自blog.csdn.net/python__reported/article/details/105174822