之前，我做过豆瓣小说爬取的案例，要是有兴趣的同志可以去看我之前写的博文，但是，那个博文中我提到过，爬取的并不完善，而且，用构造法来爬取效果较差，为了省事，现在我用selenium库来再重新爬取豆瓣小说，爬取内容完整，实现翻页爬取也无需重构新的url，案例网址：https://book.douban.com/tag/%E5%B0%8F%E8%AF%B4?start=0&type=T。
完整代码：
首先，还是导入我们可能会用到的库，selenium库和time库，如下图：
接着，先获取第一个的页面信息看看效果，使用get请求，设置浏览器等待时间为3秒，我们观察网页结构，如下图：
我们发现，可以根据标签ul提取整个页面的信息。所以，代码如下图：
不过，这仅仅只是第一个页面的信息，我们要提取全部的信息，我们通过观察发现，它的页数只有50页，start值980结束，所以，我们用for循环构造start值，构造新的url，如下图：
运行结果：
然后，我们给辛苦的成果留个纪念吧，所以，修改代码，如下图：
我们把它保存为xlsx格式，更利于数据的操作和存储。运行结果，如下图：
打开文件，如下图：
后面还有很多内容就不全部展示了，请大家见谅。
最后，感觉收获蛮大的，因为每天爬虫都会有新的思想，发现新的东西，写新的文章，不管怎么说，感谢大家前来观看鄙人的文章，文中或有诸多不妥之处，还望指出和海涵，若有朋友有疑问，可以私信我，互相交流探讨。