python爬取小说详解

整理思路:

  首先观察我们要爬取的页面信息。如下:

 自此我们获得信息有如下:

  ♦1.小说名称链接小说内容的一个url,url的形式是:http://www.365haoshu.com/Book/Chapter/ +href="detail.aspx?NovelId=3026&s=1527731727&t=DgV6NiFxdi8bOQ40DikZJQ0HCnYMBwZyDikgcA45BnAOKSB.&r=4298" #其中:&r=4298这个变化对小说章节顺序没有发生变化,你可以在后面改一下试一下

   ♦2.小说的链接和小说名称都在同一个标签下面。

至此我有了简单的思路了:

根据以上条件特点我有了一个总体思路,我分别用两个列表一个存放小说名字,一个存放列链接,然后然依次同时取出小说名字对应链接然后写在一个文件里面。

扫描二维码关注公众号,回复: 5902299 查看本文章

  ♦1.根据难度性,我们先把所有的这个HTML内容响应出来放到一个类集合里面<class 'bs4.BeautifulSoup'>

  ♦2.再根据这个集合在检索小说名字和链接所在所在的tag行,形成一个新的集合<class 'bs4.element.ResultSet'>

  ♦3.然后再在这个集合里面检索小说名称和小说链接,再形成一个新的类集合<class 'bs4.element.Tag'>

  ♦4.在检索的同时就把这些检索出来的东西分别存放在两个字符串里面

  ♦5,按照顺序依次遍历出来并把对应小说的内用写在text文件里面

我们需要用到的库:

  ♦from bs4 import BeautifulSoup 

       ♦import requests

小说章节链接:

  ♦http://www.365haoshu.com/Book/Chapter/List.aspx?NovelId=6686 

♦小说名称:为你倾心,为我倾城

接下来开始代码部分:

以上是我写的整体代码以及一些调试的方法:

代码整理如下:

猜你喜欢

转载自blog.csdn.net/qq_40925239/article/details/89284651