一 总结
页面是异步加载,页面滑动的过程中,每张图片的url才显示。所以推荐selenium。同时需要selenium执行js代买,实现页面滚动的效果。就是window.scrollTo()方法。
在用scrapy框架中,并不是所有的request都是需要经过用selenium。经过selenium拿到数据,返回response,具体某一话漫画的首页才这个需求。将这个需求写入到下载中间件中,并加条件判断。
具体参考:https://jiayi.space/post/scrapy-phantomjs-seleniumdong-tai-pa-chong