网络爬虫之古筝名曲爬取

学习完理论知识之后信誓旦旦的开始了爬虫之旅,但是一路遭遇挫折。

很喜欢毛不易的《像我这样的人》,一开始打算爬取网易云里这首歌的评论,但是查看了源代码,一直找不到评论的文字,搜了百度才知道对于用户数据会有加密,需要经过一系列非常复杂的操作才能爬取到评论,由于本人水平实在有限,便放弃了。

又想尝试爬取《知否知否应是绿肥红瘦》的分集剧情,但是百度百科的内容过于繁杂,对于标签的处理还没有到达那个水平,也只能不了了之。

心情不是很好,网易云又正好播放到了一首《渔舟唱晚》,博主不才,学过近十年的古筝,于是便想到了不如做个十大古筝名曲的爬虫,主要原因是页面比较简单便于分析爬取…【咳咳

这样输出的结果是空字符串,博主便在网上进行了搜索,发现了一个.get_text()函数可以返回标签对应的文字部分,一尝试,果然可以

效果是这样的:

但是存在的缺陷就是 “第六首 《汉宫秋月》”出现了两次,尝试了一下把所有文本变为一个大的字符串,然后对其中内容进行修改,发现效果不好,这样做的话就会编程这样:

本人水平实在有限,没法做进一步的处理,希望老师同学们能帮忙给点建议,支支招,谢谢~

猜你喜欢

转载自www.cnblogs.com/yycboy/p/12820180.html
今日推荐