爬取网易云听歌排行榜歌单制作云词

最近又到了一年一度的年底总结了,网易云音乐如此退出了年度歌单,又一次被刷朋友圈了。作为程序员,就好奇的想验证下结论准不准,随便回顾下爬虫的操作。
首先,打开网页版网易云音乐,登录成功后,进入自己或好友的听歌排行榜,如图:
爬取网易云听歌排行榜歌单制作云词
直接使用浏览器的开发工具,刷新页面查看接口及其返回结果,找到刷新该列表的接口,如图:
爬取网易云听歌排行榜歌单制作云词
爬取网易云听歌排行榜歌单制作云词
找到url后,再找到对应的cookie等值,复制保存。如图:
爬取网易云听歌排行榜歌单制作云词
爬取网易云听歌排行榜歌单制作云词
至此,我们已经找到网页所有想要的信息了,下面我们就可以直接用代码实现了。
思路:
**<br/>a.先爬取歌曲列表,获取对应歌曲的信息,存放到数据库,以便后面使用<br/>b.通过歌曲的id,获取对应的歌词;<br/>c.读取歌词分析获取关键词<br/>d.选择自定义的背景图生成自己的词图<br/>***

1.需要用到的模块
爬取网易云听歌排行榜歌单制作云词
2.自定义三个函数
a)get_info():获取历史列表中的所有歌曲并将其写入数据库中,同时返回所有歌曲的id,以便后面获取歌词
代码块如下:
def get_info(url,headers):"""
@url:历史列表中的URl
br/>"获取历史列表中的所有歌曲并将其写入数据库中,同时返回所有歌曲的id,以便后面获取歌词"
"""
@url:历史列表中的URl
@headers:请求头,带cookie
"""
data = {
'encSecKey': 'post参数->浏览器Network获取或抓包获取',
'params': 'post参数->浏览器Network获取或抓包获取'
}
html = requests.post(url,data=data,headers=headers)
html.encoding='utf-8'
lmusic = html.json()['allData']
listid = []
try:
connet = pymssql.connect(host='127.0.0.1',user='sa',password='123456',database='WebSpider')#参数的数据库
except pymssql.OperationalError as p:#异常处理
print(p)
else:
cursor = connet.cursor()
for music in lmusic:
playCount=music['playCount']
mname=music['song']['name']
mid=music['song']['id']
listid.append(mid)
musicer = music['song']['ar'][0]['name']
print("正在向数据库插入%s的信息"%mname)
if '\'' in mname:
#对带有单引号的内容进行转义,不然插入数据库会报错
mname=mname.replace('\'','\'\'')
sql = "insert into Music_wyy_2019 values ('%d','%s','%s','%d')" % (mid, mname, musicer, playCount)
else:
sql = "insert into Music_wyy_2019 values ('%d','%s','%s','%d')" % (mid, mname, musicer, playCount)
cursor.execute(sql)
connet.commit()
finally:
connet.close()
print("数据库已关闭")
return listid

    b)get_lyric():获取所有歌曲的歌词

吐槽一句,之前直接用'http://music.163.com/api/song/media?id={id}'.format(id=id),就可以通过这个api直接获取对应id歌曲的歌词,现在被封了,只能用UI来分别爬取了,效率极低(考虑用多线程处理
c)get_wordcloud():生成对应的词云图
3.定义好歌词存放的位置、选择词图的背景图及最后生成词图的位置,依次调用上面三个函数即可。效果图如下:
爬取网易云听歌排行榜歌单制作云词
4.关注公众号,回复’网易云’三个字即可获取完整代码
爬取网易云听歌排行榜歌单制作云词

猜你喜欢

转载自blog.51cto.com/10836356/2342110