爬取腾讯漫画

一 总结

  页面是异步加载,页面滑动的过程中,每张图片的url才显示。所以推荐selenium。同时需要selenium执行js代买,实现页面滚动的效果。就是window.scrollTo()方法。

  在用scrapy框架中,并不是所有的request都是需要经过用selenium。经过selenium拿到数据,返回response,具体某一话漫画的首页才这个需求。将这个需求写入到下载中间件中,并加条件判断。

  具体参考:https://jiayi.space/post/scrapy-phantomjs-seleniumdong-tai-pa-chong

猜你喜欢

转载自www.cnblogs.com/654321cc/p/8909615.html
今日推荐