一个简单的使用scrapy爬取小说的例

爬取的是-81中文网的wldf

代码到这里去找:https://gitee.com/caizhw3/reptiles__climbing_novels/tree/master

大概就是使用scrapy写了一个简单的爬取小说的爬虫,没什么太多的技术含量

内容会在项目的这里,使用txt保存

通过修改start_url可以爬取其他的小说内容,但是要求有相同的HTML结构

使用pycharm打开项目,转到main()文件,然后运行即可,

爬取的不是特别理想的结果如下:

https://pan.baidu.com/s/15lfGDaIulXxoOCScX6raNA

扫描二维码关注公众号,回复: 5254297 查看本文章

猜你喜欢

转载自blog.csdn.net/czw0723/article/details/87456299
今日推荐